The post has been translated automatically. Original language: Russian
Almost every report has a row with an average value. Average response time, average receipt, average task completion time. This is a convenient number: it is one and it is easy to compare it with the previous month. But it is precisely because of its simplicity that it often does not answer the question that was asked.
The average describes the data well only when the values are located tightly around the center. This rarely happens in real processes. There is usually a large group of regular cases and a small group of very long ones. Ten fast values and one very slow value give an average that was not present in any individual case.
Therefore, it is worth looking at the median along with the average. The median is the value that divides the sample into two equal halves. If the average is noticeably higher than the median, then there is a long tail in the data, and this is the most interesting thing.
Then the percentiles help. The ninetieth percentile indicates a value that is not exceeded in ninety percent of cases. He answers the question that people usually want to ask: what does the experience of the part of users who had to wait longer than the rest look like. It is often these cases that shape the attitude towards the product.
It is useful to plot the entire distribution once, not just the summary figures. The distribution graph immediately shows how many groups there are in these groups. If two vertices are visible, this is a sign that two different processes have entered the same table, and it is more correct to count them separately.
And one last thing. When comparing the averages between the periods, check the sample composition. If the data structure has changed, for example, a new city or a new type of order has been added, then the change in the average indicates the composition, not the quality of the process.
A simple rule for the report: always put the number of observations, the median, and one percentile next to the average. Three digits instead of one take up the same amount of space, but they describe the process honestly.
Are percentiles counted regularly in your reports, or only when analyzing specific cases?
Этот вопрос возникает в каждой команде: написать самим или взять готовое. Обсуждение обычно сводится к сравнению цены подписки и срока разработки, и почти всегда упускает самое дорогое.
Стоимость своего решения не заканчивается в день релиза. К ней добавляется поддержка, обновления, документация, дежурства, обучение новых людей и время на переделку, когда требования изменятся. Разумно оценивать сумму на два или три года, а не на один спринт.
Первый вопрос, который стоит задать: относится ли эта задача к тому, чем компания отличается от других. Логика, которая создаёт ценность продукта, обычно должна быть своей: её надо часто менять и хорошо понимать. Всё остальное, от рассылки писем до хранения файлов, для клиента одинаково у всех.
Второй вопрос о данных. Уточните заранее, в каком виде вы сможете забрать свои данные из сервиса и сколько времени это займёт. Возможность выгрузки в понятном формате важнее набора функций: она определяет, останется ли у вас выбор через два года.
Третий вопрос о встраивании. Иногда готовый сервис закрывает девяносто процентов задачи, а оставшиеся десять требуют такого количества обходных решений, что общая сложность оказывается выше собственной разработки. Проверять это лучше на небольшом пилоте, а не в документации поставщика.
Хороший промежуточный вариант встречается чаще, чем кажется. Взять готовое решение для основы и написать своё только для той части, которая уникальна. Тогда команда занимается своей задачей, а не повторяет то, что уже сделано десятки раз.
И небольшая практика напоследок: запишите причину выбора одним абзацем и сохраните рядом с проектом. Через год состав команды поменяется, и новый человек будет решать этот же вопрос заново, не зная контекста.
А вы фиксируете причины выбора инструментов или они остаются в переписке?
Share
