Тапсырыс беруші
... дейн шешім қабылдау

09.01.26

Марапаттау нысаны

По согласованию с Исполнителем

Өнім күйі

Дайын өнім

Тапсырма түрі

Задачи ИКТ

Сфера применения

Робототехника

Область задачи

Ақпаратты өңдеу және түрлендіру

Өнім түрі

БҚ/АЖ

Мәселенің сипаттамасы

В текущей системе отсутствует механизм раннего и автоматического обнаружения сбоев и деградаций в работе ML-алгоритма ранжирования, из-за чего проблемы выявляются постфактум по бизнес-метрикам, требуют ручной диагностики и приводят к финансовым и продуктовым потерям.

Күтілетін әсер

1. Алерты корректно срабатывают при синтетических сбоях 2. Отсутствие ложных алертов при нормальной работе 3. Возможность быстро локализовать источник проблемы 4. Удобство интерпретации алертов

Жауапты тұлғаның ТАӘ

Ким Сергей Романович

Тапсырманың (жобаның) мақсаты мен сипаттамасы

В маркетплейсе используется ML-алгоритм ранжирования, который формирует порядок выдачи товаров/услуг в поиске и листингах. Алгоритм напрямую влияет на пользовательский опыт и ключевые бизнес-метрики (CTR, CR, GMV). Цель задачи — разработать систему мониторинга и алертинга, которая позволит: - оперативно обнаруживать деградацию работы алгоритма, - автоматически сигнализировать о сбоях, - помогать в определении возможной причины проблемы (данные, модель, инфраструктура). Система алертинга должна покрывать: - входные данные модели - поведение модели в продакшене - онлайн-бизнес метрики - техническое состояние сервиса ранжирования.

Ескерту