The post has been translated automatically. Original language: Russian
Not every hypothesis in commercial analytics needs to be tested through a full-fledged DiD design with control cities — sometimes speed is more important than the ideal purity of the experiment. I share when a simplified approach is justified and how not to be fooled by the result.
Situation
We had to make a quick assessment: changing the threshold for free delivery in restaurants in one city would affect the average receipt and the number of orders. A full—fledged controlled experiment would take weeks, and the decision had to be made quickly.
What was done instead of a complete experiment
- Before/after in the same city + reconciliation with a neighboring similar city without changes. Not an ideal control group, but enough to cut off seasonality and the general trend of the market.
- A short observation window. Not a month, but 10-14 days is enough to see the direction of the effect, even if the confidence interval is wider than we would like.
- The restrictions were clearly fixed before looking at the numbers. It was prescribed in advance that this result is a signal for the decision "to test more widely / not to test", and not the final proof of the causal effect.
What is the result
The average receipt increased, the number of orders remained almost unchanged — the signal turned out to be unambiguous enough to extend the change to several more cities with stricter measurement.
Conclusion
The simplified design of an experiment is not a hack, if you honestly indicate its limitations. It's worse when it's passed off as a full-fledged causal analysis. Often the choice is not "an ideal experiment vs no experiment", but "a quick signal now vs an accurate response in a month, when the solution is no longer relevant."
Не каждую гипотезу в коммерческой аналитике нужно проверять через полноценный DiD-дизайн с контрольными городами — иногда важнее скорость, а не идеальная чистота эксперимента. Делюсь, когда упрощённый подход оправдан и как не обмануть себя результатом.
Ситуация
Нужно было быстро оценить: изменение порога бесплатной доставки в ресторанах одного города повлияет на средний чек и количество заказов. Полноценный контролируемый эксперимент занял бы недели — а решение нужно было принять быстро.
Что сделали вместо полного эксперимента
- До/после на том же городе + сверка с соседним похожим городом без изменений. Не идеальная контрольная группа, но достаточно, чтобы отсечь сезонность и общий тренд рынка.
- Короткое окно наблюдения. Не месяц, а 10–14 дней — этого хватает, чтобы увидеть направление эффекта, даже если доверительный интервал шире, чем хотелось бы.
- Явно зафиксировали ограничения перед тем, как смотреть на цифры. Заранее прописали, что этот результат — сигнал для решения «тестировать шире / не тестировать», а не окончательное доказательство causal-эффекта.
Что в итоге
Средний чек вырос, количество заказов почти не изменилось — сигнал оказался достаточно однозначным, чтобы расширить изменение на ещё несколько городов уже с более строгим замером.
Вывод
Упрощённый дизайн эксперимента — это не халтура, если вы честно указываете его ограничения. Хуже, когда его выдают за полноценный causal-анализ. Часто выбор не «идеальный эксперимент vs никакого», а «быстрый сигнал сейчас vs точный ответ через месяц, когда решение уже не актуально».
Share
