Only RK

Price: 0

Number of applications: 0

Реализация системы мониторинга и алертинга для ML-алгоритма ранжирования маркетплейса
Customer

ТОО Трэвел Тэк
Making decisions before ...

09.01.26

Form of award

По согласованию с Исполнителем

Product status

Finished product

Task type

Задачи ИКТ

Сфера применения

Robotics

Область задачи

Information processing and transformation

Type of product

Software/ IS

Problem description

В текущей системе отсутствует механизм раннего и автоматического обнаружения сбоев и деградаций в работе ML-алгоритма ранжирования, из-за чего проблемы выявляются постфактум по бизнес-метрикам, требуют ручной диагностики и приводят к финансовым и продуктовым потерям.

Expected effect

1. Алерты корректно срабатывают при синтетических сбоях 2. Отсутствие ложных алертов при нормальной работе 3. Возможность быстро локализовать источник проблемы 4. Удобство интерпретации алертов

Full name of responsible person

Ким Сергей Романович

Purpose and description of task (project)

В маркетплейсе используется ML-алгоритм ранжирования, который формирует порядок выдачи товаров/услуг в поиске и листингах. Алгоритм напрямую влияет на пользовательский опыт и ключевые бизнес-метрики (CTR, CR, GMV). Цель задачи — разработать систему мониторинга и алертинга, которая позволит: - оперативно обнаруживать деградацию работы алгоритма, - автоматически сигнализировать о сбоях, - помогать в определении возможной причины проблемы (данные, модель, инфраструктура). Система алертинга должна покрывать: - входные данные модели - поведение модели в продакшене - онлайн-бизнес метрики - техническое состояние сервиса ранжирования.

Note

Send the solution