Прием решений до

09.01.26

Форма вознаграждения

По согласованию с Исполнителем

Статус продукта

Готовый продукт

Тип задачи

Задачи ИКТ

Сфера применения

Робототехника

Область задачи

Обработка и преобразование информации

Тип продукта

ПО/ИС

Описание проблемы

В текущей системе отсутствует механизм раннего и автоматического обнаружения сбоев и деградаций в работе ML-алгоритма ранжирования, из-за чего проблемы выявляются постфактум по бизнес-метрикам, требуют ручной диагностики и приводят к финансовым и продуктовым потерям.

Ожидаемый эффект

1. Алерты корректно срабатывают при синтетических сбоях 2. Отсутствие ложных алертов при нормальной работе 3. Возможность быстро локализовать источник проблемы 4. Удобство интерпретации алертов

ФИО ответственного лица

Ким Сергей Романович

Цель и описание задачи (проекта)

В маркетплейсе используется ML-алгоритм ранжирования, который формирует порядок выдачи товаров/услуг в поиске и листингах. Алгоритм напрямую влияет на пользовательский опыт и ключевые бизнес-метрики (CTR, CR, GMV). Цель задачи — разработать систему мониторинга и алертинга, которая позволит: - оперативно обнаруживать деградацию работы алгоритма, - автоматически сигнализировать о сбоях, - помогать в определении возможной причины проблемы (данные, модель, инфраструктура). Система алертинга должна покрывать: - входные данные модели - поведение модели в продакшене - онлайн-бизнес метрики - техническое состояние сервиса ранжирования.

Примечание