The post has been translated automatically. Original language: Russian
The average metric value across the entire network is a convenient figure to report, but it regularly hides the problem rather than showing it. I share where it catches most often.
Situation
I look at the revenue metric for a point in the context of the entire network — the figure looks normal, no alarms. I start to break it down by city, and the spread turns out to be dozens of times between the best and the worst city.
What does this mean in practice?
- The average hides outliers. One or two cities with abnormally high revenue pull the total figure up, masking the failure of the rest.
- The spread is not noise, but a signal. ""If the difference between cities is not explained by the size of the market, the question is not "why is the average normal," but "why is the spread so large?" — there is usually a real problem (integration does not work, points are not connected, different competitive environment).
- The geographical/segment breakdown should be the default, not an additional slice. If the decision is made based on the average figure, rather than the distribution, the risk of making the wrong decision is higher than it seems.
Conclusion
Before trusting a "normal" average metric, it is worth looking at it in a breakdown by at least one significant dimension — geography, segment, channel. "It"s often the difference between "everything is fine" and "there is a system problem that no one noticed."
Среднее значение метрики по всей сети — удобная цифра для отчёта, но она регулярно прячет проблему, а не показывает её. Делюсь, где это ловит чаще всего.
Ситуация
Смотрю метрику по выручке на точку в разрезе всей сети — цифра выглядит нормально, никаких сигналов тревоги. Начинаю разбивать по городам — и разброс оказывается в десятки раз между лучшим и худшим городом.
Что это значит на практике
- Среднее прячет аномальные значения. Один-два города с аномально высокой выручкой вытягивают общую цифру вверх, маскируя провал остальных.
- Разброс — это не шум, а сигнал. Если разница между городами не объясняется размером рынка, вопрос не «почему в среднем нормально», а «почему разброс такой большой» — там обычно и есть настоящая проблема (не работает интеграция, не подключены точки, разная конкурентная среда).
- Разбивка по географии/сегменту должна быть дефолтом, а не дополнительным срезом. Если решение принимается по усреднённой цифре, а не по распределению — риск принять неверное решение выше, чем кажется.
Вывод
Прежде чем доверять «нормальной» усреднённой метрике, стоит на неё посмотреть в разбивке хотя бы по одному значимому измерению — географии, сегменту, каналу. Часто именно там разница между «всё в порядке» и «есть системная проблема, которую никто не заметил».
Share
