Как компании могут поручить монотонные задачи AI, чтобы оптимизировать работу сотрудников и помочь бизнесу масштабироваться

Спам, мошенники, запрещённые товары и услуги, шуточные или некорректные объявления отпугнут любого пользователя от сервиса или приложения. Бизнес, который хочет расширять клиентскую базу, делает всё, чтобы до пользователя доходила только релевантная и нужная информация. 

Сердце IT-продуктов Kolesa Group — это объявления о продаже и покупке авто, недвижимости, товаров и услуг. Ежедневно пользователи компании подают 83 тысячи объявлений, которые нужно проверять на корректность. Кто и как обрабатывает такой огромный поток информации?

Мы поговорили с Индирой Альденовой — руководителем отдела модерации Kolesa Group. Отдел состоит из 39 человек. Каждый год поток объявлений увеличивается, бизнес растёт, а отдел модерации численно прирастает минимально. Как им удаётся масштабироваться и эффективнее бороться с некорректными объявлениями, не раздувая при этом штат?Взяв за пример свой опыт, она расскажет о внедрении AI (искусственный интеллект) в модерацию и о том, какие результаты им это принесло. Далее с её слов.

Как работает ручная модерация и почему это важно 

Проверяется всё, что поступает на сервис: объявления, отзывы, комментарии, кабинеты и заявки от специалистов.

Ручная модерация работает по классической схеме.

1. Объявление попадает на проверку к модератору. Он задается вопросами:

- Есть ли на этой фотографии что-то, чего не должно быть видно?

- Есть ли в этом сообщении запрещённые слова или приватная информация? и т.д.

2. Если нарушения обнаружены, модератор может принять решение, как их исправить или отклонить.

Казалось бы, ручная модерация — это проще и дешевле, но дело не в экономической выгоде. Главное в ручной модерации — накопление исторических данных и выстраивание системы работы с этими данными, которые лягут в основу будущей ML-модели.

Совет 1 
Собирайте данные в дата-сеты с самого начала. Потому что на их базе вы сможете построить ML-модели. Советуем собрать минимум 10 000 дата-поинтов, чтобы начать работу над ML. Дата-поинт — это фото, текст или любая другая единица данных.

Как устроена автомодерация

Благодаря чётко выстроенной работе с ручной модерацией, мы не строим с нуля процесс автомодерации — он идёт параллельно.

Мы размечаем данные для ML-моделей. Зачем: чем больше модель «увидит» примеры того, что мы считаем правильным или неправильным, тем лучше обучится. И сможет в будущем забирать значительную часть работы на себя.

Автомодерация осуществляется по тексту и фото. 

Текстовая автомодерация актуализируется списком стоп-слов и выбором параметров. Например:

- Одна модель определяет, правильно ли указана категория в объявлении, чтобы в авто не подавали запчасти;

- Другая модель отвечает за проверку текста на наличие нежелательных слов в объявлении;

- Третья модель отвечает за адекватность цены в предложении. Ведь за дешёвыми объявлениями часто скрываются мошенники. И так далее.

Фотомодерация состоит из 8 разных ML-моделей: люди, скриншоты, дубликаты, оружие и т.д. Логика её работы:

1. Пользователь подаёт объявление.

2. Автомодерация скачивает все фотографии этого объявления.

3. Определяет очерёдность модели для проверки фотографий.

4. Если на каком-то этапе модель найдёт ошибку на фото, то дальнейшая проверка прекращается и выдаётся результат.

Возможные варианты ответов: 

- опубликовать

- отправить на ручную модерацию.

Автомодерация не отклоняет фото самостоятельно.

Но AI не всегда понимает, что делать с объявлением. В таком случае объявление отправляется на ручную модерацию. Автомодерация забирает на себя 85% всего потока объявлений.

Совет 2 
Делайте подсказки от автомодерации исчерпывающими и понятными. Благодаря этим подсказкам, например, «Обнаружены животные», мы понимаем, что именно смутило ИИ при проверке. Чем информативнее автомодерация будет отправлять объявления на ручную модерацию, тем эффективнее пройдёт процесс сбора данных для переобучения моделей.

Рабочие кейсы

Рассмотрим работу автомодерации на примере продукта Kolesa.kz. Основные факапы автомодерации приходятся на фото:

Кейс 1 — НЛО

Недавно у нас было «нашествие инопланетян». Пользователи подавали шуточные объявления, и фотки завирусились в соцсетях. Причина — фотографии, которые AI не может распознать.

Кейс 2 — AI распознаёт запчасти как животные, оружие.

Такие кейсы мы собираем и забираем на переобучение модели. 

Оптимизация ресурсов команды за счёт автоматизации

Основной фокус внедрения автомодерации — освобождение ресурсов команды для: 

•‎ более тщательной проверки подозрительных объявлений для защиты пользователей от мошенников;

•‎ повышения качества объявлений;

•‎ более быстрой и качественной обработки обращений от пользователей.

Благодаря автоматизации модераторы смогли сфокусироваться на более интеллектуальном труде. А именно:

1. Помогают анализировать показатели модерации для разбора кейсов и повышения эффективности. 

2. Проводят мастер-классы, воркшопы, обмены опытом для того, чтобы качественных объявлений было как можно больше.

3. Повышают скорость проверки объявлений

4. Участвуют в программах роста и развития. Это даёт им возможность расти в тимлиды или осуществить карьерный переход в другое IT-направление.

Качество ручной модерации — 99,9%

Качество автомодерации — 99,4%.

В продуктах Kolesa Group крутится 60+ моделей. Работа над переобучением ML-моделей, а также повышением качества и эффективности автомодерации ведётся постоянно.

Итоги

1. Сократили время проверки объявлений с 15 минут до пары секунд.

2. Сократили время ручной модерации с 15 до 10 минут.

3. Снизили нагрузку на модераторов — автомодерация забирает на себя 85% текста и фото.

4. За счет автоматизации рутинных процессов смогли перераспределить ресурсы на другие задачи. 

Планы

1. Улучшение качества автомодерации.

2. Разбор ошибок, переобучение модели за счет разметки изображений/текста.

3. Обучение основным триггерам с объявлениями от мошенников, отправлять на ручную модерацию для дополнительной проверки.

Внедряя AI в свои процессы, важно помнить, что поддержка его эффективности — это постоянный процесс анализа и проработки ошибок.