Сумма: 0
Количество заявок: 0
09.01.26
По согласованию с Исполнителем
Готовый продукт
Задачи ИКТ
Робототехника
Обработка и преобразование информации
ПО/ИС
В текущей системе отсутствует механизм раннего и автоматического обнаружения сбоев и деградаций в работе ML-алгоритма ранжирования, из-за чего проблемы выявляются постфактум по бизнес-метрикам, требуют ручной диагностики и приводят к финансовым и продуктовым потерям.
1. Алерты корректно срабатывают при синтетических сбоях 2. Отсутствие ложных алертов при нормальной работе 3. Возможность быстро локализовать источник проблемы 4. Удобство интерпретации алертов
Ким Сергей Романович
Цель и описание задачи (проекта)
В маркетплейсе используется ML-алгоритм ранжирования, который формирует порядок выдачи товаров/услуг в поиске и листингах. Алгоритм напрямую влияет на пользовательский опыт и ключевые бизнес-метрики (CTR, CR, GMV). Цель задачи — разработать систему мониторинга и алертинга, которая позволит: - оперативно обнаруживать деградацию работы алгоритма, - автоматически сигнализировать о сбоях, - помогать в определении возможной причины проблемы (данные, модель, инфраструктура). Система алертинга должна покрывать: - входные данные модели - поведение модели в продакшене - онлайн-бизнес метрики - техническое состояние сервиса ранжирования.