The post has been translated automatically. Original language: Russian
Almost every report has a row with an average value. Average response time, average receipt, average task completion time. This is a convenient number: it is one and it is easy to compare it with the previous month. But it is precisely because of its simplicity that it often does not answer the question that was asked.
The average describes the data well only when the values are located tightly around the center. This rarely happens in real processes. There is usually a large group of regular cases and a small group of very long ones. Ten fast values and one very slow value give an average that was not present in any individual case.
Therefore, it is worth looking at the median along with the average. The median is the value that divides the sample into two equal halves. If the average is noticeably higher than the median, then there is a long tail in the data, and this is the most interesting thing.
Then the percentiles help. The ninetieth percentile indicates a value that is not exceeded in ninety percent of cases. He answers the question that people usually want to ask: what does the experience of the part of users who had to wait longer than the rest look like. It is often these cases that shape the attitude towards the product.
It is useful to plot the entire distribution once, not just the summary figures. The distribution graph immediately shows how many groups there are in these groups. If two vertices are visible, this is a sign that two different processes have entered the same table, and it is more correct to count them separately.
And one last thing. When comparing the averages between the periods, check the sample composition. If the data structure has changed, for example, a new city or a new type of order has been added, then the change in the average indicates the composition, not the quality of the process.
A simple rule for the report: always put the number of observations, the median, and one percentile next to the average. Three digits instead of one take up the same amount of space, but they describe the process honestly.
Are percentiles counted regularly in your reports, or only when analyzing specific cases?
Почти в каждом отчёте есть строка со средним значением. Среднее время ответа, средний чек, среднее время выполнения задачи. Это удобная цифра: она одна и её легко сравнить с прошлым месяцем. Но именно из-за своей простоты она часто отвечает не на тот вопрос, который задавали.
Среднее хорошо описывает данные только тогда, когда значения расположены плотно вокруг центра. В реальных процессах так бывает редко. Обычно есть большая группа обычных случаев и небольшая группа очень длинных. Десять быстрых значений и одно очень медленное дают среднее, которого не было ни в одном отдельном случае.
Поэтому вместе со средним стоит смотреть медиану. Медиана это значение, которое делит выборку на две равные половины. Если среднее заметно больше медианы, значит в данных есть длинный хвост, и он и есть самое интересное.
Дальше помогают перцентили. Девяностый перцентиль показывает значение, которое не превышено в девяноста процентах случаев. Он отвечает на вопрос, который обычно и хотят задать: как выглядит опыт той части пользователей, которой пришлось ждать дольше остальных. Часто именно эти случаи формируют отношение к продукту.
Полезно один раз построить распределение целиком, а не только сводные цифры. График с распределением сразу показывает, сколько в данных групп. Если видно две вершины, это признак того, что в одну таблицу попали два разных процесса, и их правильнее считать отдельно.
И последнее. Сравнивая средние значения между периодами, проверьте состав выборки. Если изменилась структура данных, например добавился новый город или новый тип заказа, то изменение среднего говорит о составе, а не о качестве процесса.
Простое правило для отчёта: рядом со средним всегда ставьте количество наблюдений, медиану и один перцентиль. Три цифры вместо одной занимают столько же места, но описывают процесс честно.
А в ваших отчётах перцентили считаются регулярно или только при разборе конкретных случаев?
Share
