Бұл жазба автоматты түрде аударылған. Бастапқы тіл: Орысша
Қызметкерлер жұмысын оңтайландыру және бизнесті кеңейтуге көмектесу үшін компаниялар AI монотонды тапсырмаларын қалай тағайындай алады
Спам, алаяқтар, тыйым салынған тауарлар мен қызметтер, күлкілі немесе қате хабарландырулар кез келген пайдаланушыны қызметтен немесе қолданбадан қорқытады. Клиенттік базаны кеңейтуді қалайтын Бизнес пайдаланушыға тек тиісті және қажетті ақпарат жетуі үшін бәрін жасайды.
Kolesa Group IT өнімдерінің жүрегі-бұл автомобильдерді, жылжымайтын мүлікті, тауарлар мен қызметтерді сату және сатып алу туралы хабарландырулар. Күн сайын компанияның пайдаланушылары дұрыстығын тексеру үшін 83 мың жарнама береді. Мұндай үлкен ақпарат ағынын кім және қалай өңдейді?
Біз Kolesa Group модерация бөлімінің басшысы Индира Алденовамен сөйлестік. Бөлім 39 адамнан тұрады. Жыл сайын жарнамалар ағыны артып келеді, бизнес өсуде және модерация бөлімі ең аз өсуде. Олар штатты үрлемей, дұрыс емес хабарландырулармен қалай масштабтауға және тиімдірек күресуге болады?Өз тәжірибесін мысалға ала отырып, ол модерацияға AI (жасанды интеллект) енгізу туралы және оның қандай нәтиже бергені туралы айтады. Әрі қарай оның сөздерінен.
Сервиске түсетін барлық нәрсе тексеріледі: хабарландырулар, Пікірлер, түсініктемелер, кабинеттер және мамандардың өтінімдері.
Қолмен модерация классикалық схема бойынша жұмыс істейді.
1. Хабарландыру модераторға тексеруге жіберіледі. Ол сұрақ қояды:
- Бұл фотосуретте көрінбейтін нәрсе бар ма?
- Бұл хабарламада тыйым салынған сөздер немесе жеке ақпарат бар ма? және т. б.
2. Егер бұзушылықтар анықталса, модератор оларды қалай түзетуге немесе қабылдамауға шешім қабылдауы мүмкін.
Қолмен модерациялау оңай және арзан болып көрінеді, бірақ бұл экономикалық пайда туралы емес. Қолмен модерацияның бастысы-тарихи деректерді жинақтау және болашақ ML моделінің негізін құрайтын осы деректермен жұмыс істеу жүйесін құру.
1 кеңес Деректерді басынан бастап деректер жиынтығына жинаңыз. Өйткені олардың негізінде Сіз ML модельдерін жасай аласыз. ML-де жұмысты бастау үшін кем дегенде 10 000 күн нүктесін жинауға кеңес береміз. Күн нүктесі-бұл фотосурет, мәтін немесе кез келген басқа деректер бірлігі.
Қолмен модерациямен нақты құрылған жұмыстың арқасында біз автомодерация процесін нөлден құрмаймыз-ол параллель жүреді.
Біз ML модельдері үшін деректерді белгілейміз. Неліктен: модель біз дұрыс немесе бұрыс деп санайтын мысалдарды неғұрлым көп "көрсе", соғұрлым жақсы үйренеді. Болашақта ол жұмыстың едәуір бөлігін өзіне ала алады.
Автомодерация мәтін мен фотосурет бойынша жүзеге асырылады.
Мәтіндік автомодерация тоқтату сөздерінің тізімімен және параметрлерді таңдаумен жаңартылады. Мысалы:
- Бір модель автомобильде қосалқы бөлшектер берілмеуі үшін жарнамада санаттың дұрыс көрсетілгенін анықтайды;
- Басқа модель жарнамадағы қажетсіз сөздерді тексеру үшін мәтінді тексеруге жауапты;
- Үшінші модель ұсыныстағы бағаның барабарлығына жауап береді. Өйткені, арзан жарнамалардың артында алаяқтар жиі жасырылады. Және т. б.
Фотомодерация 8 түрлі ML модельдерінен тұрады: адамдар, скриншоттар, телнұсқалар, қару-жарақ және т. б. оның жұмысының логикасы:
1. Пайдаланушы жарнама береді.
2. Автомодерация осы жарнаманың барлық фотосуреттерін жүктейді.
3. Фотосуреттерді тексеру үшін модельдің ретін анықтайды.
4. Егер қандай да бір кезеңде модель фотосуретте қате тапса, онда одан әрі тексеру тоқтатылады және нәтиже беріледі.
Мүмкін болатын жауаптар:
- жариялау
- қолмен модерацияға жіберу.
Автомодерация фотосуретті өздігінен қабылдамайды.
Бірақ AI әрқашан хабарландырумен не істеу керектігін түсінбейді. Бұл жағдайда жарнама қолмен модерацияға жіберіледі. Автомодерация барлық хабарландырулар ағынының 85% алады.
2 Кеңес Автомодерация туралы кеңестерді толық және түсінікті етіп жасаңыз. Осы белгілердің арқасында, мысалы, "жануарлар табылды", біз тексеру кезінде жасанды интеллектті не шатастырғанын түсінеміз. Автомодерация жарнамаларды қолмен модерациялауға неғұрлым мазмұнды жіберсе, модельдерді қайта даярлау үшін деректерді жинау процесі соғұрлым тиімді болады.
Өнім мысалында автомодерация жұмысын қарастырыңыз Kolesa.kz. автомодерацияның негізгі факаптары фотода:
1-іс-НЛО
Жақында бізде "шетелдіктердің шабуылы" болды. Пайдаланушылар әзіл-қалжың хабарландыруларын берді, ал фотосуреттер әлеуметтік желілерде вирусқа айналды. Мұның себебі-ai тани алмайтын фотосуреттер.
2 — AI корпусы бөлшектерді Жануарлар, қару ретінде таниды.
Біз мұндай жағдайларды жинап, модельді қайта даярлауға аламыз.
Автомодерацияны енгізудің негізгі бағыты-команданың ресурстарын босату:
* пайдаланушыларды алаяқтардан қорғау үшін күдікті жарнамаларды мұқият тексеріңіз;
* жарнамалардың сапасын арттыру;
* пайдаланушылардың өтініштерін жылдам әрі сапалы өңдеу.
Автоматтандырудың арқасында модераторлар интеллектуалды еңбекке назар аудара алды. Атап айтқанда:
1. Істерді талдау және тиімділікті арттыру үшін модерация көрсеткіштерін талдауға көмектеседі.
2. Сапалы хабарландырулар мүмкіндігінше көп болуы үшін шеберлік сыныптары, воркшоптар, тәжірибе алмасу өткізіледі.
3. Жарнаманы тексеру жылдамдығын арттырыңыз
4. Өсу және даму бағдарламаларына қатысады. Бұл оларға өсуге мүмкіндік береді тимлидтер немесе басқа IT бағытына мансаптық ауысу.
Қол модерациясының сапасы-99,9%
Автомодерация сапасы-99,4%.
Kolesa Group өнімдерінде 60+ модель бар. ML-модельдерді қайта даярлау, сондай-ақ автомодерацияның сапасы мен тиімділігін арттыру бойынша жұмыстар тұрақты жүргізілуде.
1. Хабарландыруларды тексеру уақытын 15 минуттан екі секундқа дейін қысқартты.
2. Қолмен модерация уақытын 15 минуттан 10 минутқа дейін қысқартты.
3. Модераторларға жүктемені азайтты-автомодерация мәтін мен фотосуреттің 85% алады.
4. Күнделікті процестерді автоматтандыру арқылы олар ресурстарды басқа тапсырмаларға қайта бөле алды.
1. Автомодерация сапасын жақсарту.
2. Қателерді талдау, суретті/мәтінді белгілеу арқылы модельді қайта даярлау.
3. Алаяқтардың хабарландырулары бар негізгі триггерлерді оқыту, қосымша тексеру үшін қолмен модерацияға жіберу.
Ai-ді өз процестеріне енгізе отырып, оның тиімділігін қолдау қателерді талдау мен өңдеудің тұрақты процесі екенін есте ұстаған жөн.
Как компании могут поручить монотонные задачи AI, чтобы оптимизировать работу сотрудников и помочь бизнесу масштабироваться
Спам, мошенники, запрещённые товары и услуги, шуточные или некорректные объявления отпугнут любого пользователя от сервиса или приложения. Бизнес, который хочет расширять клиентскую базу, делает всё, чтобы до пользователя доходила только релевантная и нужная информация.
Сердце IT-продуктов Kolesa Group — это объявления о продаже и покупке авто, недвижимости, товаров и услуг. Ежедневно пользователи компании подают 83 тысячи объявлений, которые нужно проверять на корректность. Кто и как обрабатывает такой огромный поток информации?
Мы поговорили с Индирой Альденовой — руководителем отдела модерации Kolesa Group. Отдел состоит из 39 человек. Каждый год поток объявлений увеличивается, бизнес растёт, а отдел модерации численно прирастает минимально. Как им удаётся масштабироваться и эффективнее бороться с некорректными объявлениями, не раздувая при этом штат?Взяв за пример свой опыт, она расскажет о внедрении AI (искусственный интеллект) в модерацию и о том, какие результаты им это принесло. Далее с её слов.
Как работает ручная модерация и почему это важно
Проверяется всё, что поступает на сервис: объявления, отзывы, комментарии, кабинеты и заявки от специалистов.
Ручная модерация работает по классической схеме.
1. Объявление попадает на проверку к модератору. Он задается вопросами:
- Есть ли на этой фотографии что-то, чего не должно быть видно?
- Есть ли в этом сообщении запрещённые слова или приватная информация? и т.д.
2. Если нарушения обнаружены, модератор может принять решение, как их исправить или отклонить.
Казалось бы, ручная модерация — это проще и дешевле, но дело не в экономической выгоде. Главное в ручной модерации — накопление исторических данных и выстраивание системы работы с этими данными, которые лягут в основу будущей ML-модели.
Совет 1
Собирайте данные в дата-сеты с самого начала. Потому что на их базе вы сможете построить ML-модели. Советуем собрать минимум 10 000 дата-поинтов, чтобы начать работу над ML. Дата-поинт — это фото, текст или любая другая единица данных.
Как устроена автомодерация
Благодаря чётко выстроенной работе с ручной модерацией, мы не строим с нуля процесс автомодерации — он идёт параллельно.
Мы размечаем данные для ML-моделей. Зачем: чем больше модель «увидит» примеры того, что мы считаем правильным или неправильным, тем лучше обучится. И сможет в будущем забирать значительную часть работы на себя.
Автомодерация осуществляется по тексту и фото.
Текстовая автомодерация актуализируется списком стоп-слов и выбором параметров. Например:
- Одна модель определяет, правильно ли указана категория в объявлении, чтобы в авто не подавали запчасти;
- Другая модель отвечает за проверку текста на наличие нежелательных слов в объявлении;
- Третья модель отвечает за адекватность цены в предложении. Ведь за дешёвыми объявлениями часто скрываются мошенники. И так далее.
Фотомодерация состоит из 8 разных ML-моделей: люди, скриншоты, дубликаты, оружие и т.д. Логика её работы:
1. Пользователь подаёт объявление.
2. Автомодерация скачивает все фотографии этого объявления.
3. Определяет очерёдность модели для проверки фотографий.
4. Если на каком-то этапе модель найдёт ошибку на фото, то дальнейшая проверка прекращается и выдаётся результат.
Возможные варианты ответов:
- опубликовать
- отправить на ручную модерацию.
Автомодерация не отклоняет фото самостоятельно.
Но AI не всегда понимает, что делать с объявлением. В таком случае объявление отправляется на ручную модерацию. Автомодерация забирает на себя 85% всего потока объявлений.
Совет 2
Делайте подсказки от автомодерации исчерпывающими и понятными. Благодаря этим подсказкам, например, «Обнаружены животные», мы понимаем, что именно смутило ИИ при проверке. Чем информативнее автомодерация будет отправлять объявления на ручную модерацию, тем эффективнее пройдёт процесс сбора данных для переобучения моделей.
Рабочие кейсы
Рассмотрим работу автомодерации на примере продукта Kolesa.kz. Основные факапы автомодерации приходятся на фото:
Кейс 1 — НЛО
Недавно у нас было «нашествие инопланетян». Пользователи подавали шуточные объявления, и фотки завирусились в соцсетях. Причина — фотографии, которые AI не может распознать.
Кейс 2 — AI распознаёт запчасти как животные, оружие.
Такие кейсы мы собираем и забираем на переобучение модели.
Оптимизация ресурсов команды за счёт автоматизации
Основной фокус внедрения автомодерации — освобождение ресурсов команды для:
• более тщательной проверки подозрительных объявлений для защиты пользователей от мошенников;
• повышения качества объявлений;
• более быстрой и качественной обработки обращений от пользователей.
Благодаря автоматизации модераторы смогли сфокусироваться на более интеллектуальном труде. А именно:
1. Помогают анализировать показатели модерации для разбора кейсов и повышения эффективности.
2. Проводят мастер-классы, воркшопы, обмены опытом для того, чтобы качественных объявлений было как можно больше.
3. Повышают скорость проверки объявлений
4. Участвуют в программах роста и развития. Это даёт им возможность расти в тимлиды или осуществить карьерный переход в другое IT-направление.
Качество ручной модерации — 99,9%
Качество автомодерации — 99,4%.
В продуктах Kolesa Group крутится 60+ моделей. Работа над переобучением ML-моделей, а также повышением качества и эффективности автомодерации ведётся постоянно.
Итоги
1. Сократили время проверки объявлений с 15 минут до пары секунд.
2. Сократили время ручной модерации с 15 до 10 минут.
3. Снизили нагрузку на модераторов — автомодерация забирает на себя 85% текста и фото.
4. За счет автоматизации рутинных процессов смогли перераспределить ресурсы на другие задачи.
Планы
1. Улучшение качества автомодерации.
2. Разбор ошибок, переобучение модели за счет разметки изображений/текста.
3. Обучение основным триггерам с объявлениями от мошенников, отправлять на ручную модерацию для дополнительной проверки.
Внедряя AI в свои процессы, важно помнить, что поддержка его эффективности — это постоянный процесс анализа и проработки ошибок.
Share
