The post has been translated automatically. Original language: Russian
The average metric value across the entire network is a convenient figure to report, but it regularly hides the problem rather than showing it. I share where it catches most often.
Situation
I look at the revenue metric for a point in the context of the entire network — the figure looks normal, no alarms. I start to break it down by city, and the spread turns out to be dozens of times between the best and the worst city.
What does this mean in practice?
- The average hides outliers. One or two cities with abnormally high revenue pull the total figure up, masking the failure of the rest.
- The spread is not noise, but a signal. ""If the difference between cities is not explained by the size of the market, the question is not "why is the average normal," but "why is the spread so large?" — there is usually a real problem (integration does not work, points are not connected, different competitive environment).
- The geographical/segment breakdown should be the default, not an additional slice. If the decision is made based on the average figure, rather than the distribution, the risk of making the wrong decision is higher than it seems.
Conclusion
Before trusting a "normal" average metric, it is worth looking at it in a breakdown by at least one significant dimension — geography, segment, channel. "It"s often the difference between "everything is fine" and "there is a system problem that no one noticed."
Запустили акцию, продажи выросли — логично решить, что акция дала эффект. Но так бывает не всегда, и вот почему стоит проверять.
В чём подвох
Продажи могли вырасти сами по себе — например, из-за сезона, праздников или просто потому что в этом месяце было больше клиентов у всех, даже без акции. Если сравнивать «до» и «после» акции без учёта этого, легко приписать акции эффект, которого не было.
Что помогает разобраться
- Смотреть не только на свой город, но и на похожий город без акции. Если продажи выросли одинаково в обоих — скорее всего, дело не в акции, а в общем росте рынка.
- Сравнивать с тем же периодом в прошлом году. Если рост повторяется каждый год в это время — это сезонность, а не эффект акции.
- Не спешить с выводом сразу после запуска. Первые дни часто дают искажённую картину — люди пробуют новое из любопытства, эффект может не сохраниться дальше.
Вывод
Рост после акции — это хороший знак, но не доказательство. Прежде чем считать акцию успешной, стоит убедиться, что рост не объясняется чем-то ещё, что происходило бы и без неё.
Share
