Публикация была переведена автоматически. Исходный язык: Русский
Kolesa Group начали работать с ML-решениями в 2017 году – одними из первых в Казахстане. Одни продукты – например, автомодерация объявлений – помогли компании избежать увеличения штата в 5 раз. Другие, вроде автоматизированной оценки недвижимости, позволяют пользователям не гадать о цене и сэкономить время, которое прежде тратили на мониторинг похожих объявлений.
Как внедрялись ML-решения, что общего у machine learning и молотка, в каких случаях умная модель – это зло, и зачем сотрудники Kolesa Group раз в год на сутки закрываются в офисе? Об этом и многом другом Digital Business рассказал Chief Development Officer компании Николай Киндяков.
— Kolesa Group начали использовать ИИ-решения еще 8 лет назад. Что стало первым продуктом и почему?
— Корректнее было бы назвать это ML-решениями, потому что ИИ – очень широкое понятие. Первым продуктом стала автомодерация объявлений. Во времена, когда «Колеса» и «Крыша» были газетами, объявления подавали по телефону. Газета выходила раз в неделю, поэтому приходилось ждать публикации.
Потом появились сайты и приложения. В 2017 году встал вопрос масштабирования — аудитория активно росла, и мы планировали запускать новый продукт. Но ручная проверка занимала много времени: пользователь ждал до 2 часов, пока модератор проверит объявление. С внедрением автомодерации это происходит за минуту. Она анализирует текст, стоп-слова, проверяет фото на наличие «запрещенки» – например, оружия в кадре. И если объявление соответствует правилам, оно появляется в приложении или на сайте без участия модераторов.
Старт проекта – в 2017 году, релиз – в октябре 2018-го. На обучение модели потратили около 9 месяцев.
На старте все решения нейросети перепроверяли модераторы. Когда точность проверки выросла, пошли по схеме: теперь большая часть объявлений проходит через автомодерацию, а людьми проверяются в основном нестандартные объявления. Сейчас автомодерация на Krisha.kz и Kolesa.kz – это не одна модель, а целая система связанных между собой нейросетей. Одна из них отслеживает в объявлениях ссылки на сторонние мессенджеры и сайты. Основная цель – безопасность пользователей: за пределами платформы мы не сможем зафиксировать подозрительные действия и своевременно помочь. Чтобы нейросеть не смогла опознать стоп-слова, люди писали их прямо на фотографиях, – отработали и этот кейс.
— С какими неожиданными сложностями столкнулись при реализации проекта?
— Любую модель нужно постоянно дообучать – это «налог на технологию». Но можно и перестараться с улучшениями. Например, в 2019 году появилась модель для опознания человека в кадре. По правилам, людей не должно быть на фото. Как выяснилось, ML обучили слишком хорошо: она ловила отражения в кузове, зеркалах или силуэт человека вдалеке – и не допускала объявление к публикации. Пришлось опытным путем подобрать настройки модели так, чтобы она могла выполнить задачу.
В целом, машинное обучение помогло не только пользователям, но и бизнесу, позволив не расширять штат. Сегодня в отделе сервиса около 130 человек – если бы не machine learning, их было бы около 700 – это посчитал на досуге наш СЕО.
— По каким критериям оцениваете, для решения какой задачи лучше подойдет ИИ?
— Сегодня почти все продуктовые решения, в том числе связанные с ML, принимаем на основе данных. Изучаем поведение пользователей, формируем гипотезы для улучшения продукта и проверяем их экспериментами в реальном продукте. В Kolesa Group в целом развита data driven культура.
Так было не всегда. В 2017-2018 годах решения принимались в основном на уровне видения руководителей и операционной аналитики вроде Google Analytics или Яндекс.Метрики. Это давало общую картину, но не позволяло понимать поведение пользователей и делать точные выводы.
Кроме того, никогда не выбираем технологии ради технологий. ML – это инструмент, вроде молотка: можно забивать гвозди, а можно ударить по пальцу. Важно сохранять баланс между пользой для клиентов, скоростью внедрения и бизнес-ценностью.
Поэтому, когда оцениваем задачу, учитываем несколько факторов. Во-первых, экономическая целесообразность: иногда дешевле и быстрее нанять людей или воспользоваться коробочным решением, чем строить ML-инфраструктуру самостоятельно. Затем оцениваем аналитическую зрелость продукта – без сильной аналитики, метрик и логов никакая ML не взлетит. Третье – ресурсная устойчивость. Важно честно ответить: готовы ли мы поддерживать модель постоянно, пока существует продукт? И последнее – горизонт задачи: если что-то «горит», ML – плохой инструмент, советовал бы коробочное решение.
— Часто ли обращаетесь к коробочным решениям?
— Мы не фанатики «все сами!», а прагматики. Хороший пример – голосовые помощники в Krisha.kz и Kolesa.kz. Используем стороннее решение, а поверх выстраиваем свою диалоговую логику. Но при этом очень аккуратно относимся к данным: не все можно отдавать внешним сервисам из соображений безопасности.
Голосовых помощников начали использовать в 2020 году для самых разных задач: опросы пользователей, продление объявлений, проверка жалоб и не только. До их появления сотрудники call-центра совершали около 400 тысяч звонков в месяц. С роботом стали делать в среднем 700 тысяч звонков. Это позволило масштабироваться и разгрузить операторов для более интересных задач.
— Вернемся к критериям оценки задач. Как при таком подходе в числе ваших ML-решений появилось сокрытие госномеров при продаже машины на Kolesa.kz? Проблема кажется довольно мелкой.
— Тут все началось не со стратегии и расчетов, а с «давайте попробуем». Просто увидели проблему глазами пользователя и не стали игнорировать.
До момента появления функции в 2020 году люди закрывали номера, как могли. Кто-то замазывал в редакторе, кто-то вешал на номер носок, тряпку или лист А4. Были комичные случаи: владельцы авто, стоя на одной ноге, заслоняли номер собственным ботинком. А однажды поставили перед машиной ребенка.
Казалось, что техническое решение проблемы будет простым. Но мы ошиблись:
- вместо номера закрывался одометр на приборной панели, а ключи, брелки, наклейки и даже ручки дверей казались модели госномерами;
- логотип Kolesa.kz на фото жил своей жизнью, неожиданно изменяя пропорции.
При этом сам номер иногда не «замазывался». Почему? Потому что ML – это не кнопка «сделать красиво». Модель нельзя спросить: «Почему ты так решила?». Когда все пошло не так, единственный выход – переобучить заново, а это долго и дорого. Тем не менее, конкретно с этим проектом – тот случай, когда не жалко было было усилий. Боль пользователей сняли? Да. Лишних отклонений на модерации стало меньше? Да. Улучшилось качество подачи объявлений? Да. Значит, оно того стоило.
— Поговорим о другом кейсе — автоматизации оценки недвижимости. Насколько решение удовлетворило пользователей?
— Это не фича ради фичи – до появления сервиса в 2021 году люди тратили кучу времени на ручную «аналитику»: открывали по 20 вкладок, сравнивали похожие объявления, пытались угадать цену. Сервис сделал процесс удобнее и вошел в топ-3 любимых фичей пользователей.
С технической стороны это был интересный проект, сделали его за 3 месяца. Главной целью было определить стоимость квартиры, исходя из цен на похожие объекты в тот же период времени. В итоге получили достаточно точную систему, которая реально помогает пользователям определить адекватную цену и быстрее продать недвижимость.
— Расскажите о создании рекомендательной системы на Krisha.kz и Kolesa.kz.
— Выдача объявлений долгое время была одинаковой для всех и не учитывала личные предпочтения. Впервые попробовали настроить персонализацию в 2019 году на Market.kz. ML-модель запоминала, что человек смотрит, на что кликает, что добавляет в избранное – и выдавала похожие объявления.
Первая версия рекомендательной системы провалилась — пользователи видели одни и те же объявления. В несколько итераций перестроили механику, переобучили модель, и продукт «поехал». Система стала предлагать подходящие объявления на основе предпочтений пользователя.
Этот сервис сейчас используем на Krisha.kz и Kolesa.kz.
— Были ли продукты, которые «не зашли» пользователям?
— Мы в Kolesa Group нормально относимся к неудачам. Главное не стесняться пробовать. Один из «не взлетевших» кейсов – в 2020 году делали автозаполнение параметров машины по фотографии в объявлении. Как это работало: загружаешь фото, а система сама определяет марку, поколение, объем двигателя. Как идея это выглядело эффектно, но на практике быстро стало понятно, что пользы от такой фичи мало. Параметры, которые мы могли с приемлемой точностью определить по фото, и так легко вносились. А для обучения более точной модели потребовались бы несоизмеримые затраты. Поэтому решили не заниматься очковтирательством и свернули эксперимент.
— Как в Kolesa Group происходит генерация идей?
— Очень часто они приходят от разработчиков, дизайнеров, аналитиков – от тех, кто каждый день руками «трогает» продукт и видит, где можно сделать лучше. Но хороший инженерный импульс нередко ломается о реальность: нет приоритета, нет ресурсов, нет «обоснования для бизнеса».
Чтобы не потерять мотивацию и не убить инициативу, в 2018 году внедрили внутренние хакатоны. Заранее выбираем время, отбираем идеи и на сутки закрываемся в офисе без телефонов и планерок, чтобы выдать живую версию продукта. Но главное даже не это! Мы научили ребят питчить идеи: обосновывать цифрами, считать ценность, объяснять пользу.
Первые ML-эксперименты – оттуда. Внедрение ChatGPT в сервис поддержки тоже пошло в разработку после хакатона. Кстати, они не только для «технарей» – ребята из маркетинга и продаж тоже участвуют, приходят с рабочими решениями, которые потом внедряем. Так что это уже часть культуры компании.
— Если вы даете людям возможность влиять на продукт, становится интересно, кто может попасть в ML-команду Kolesa Group и воспользоваться этой возможностью?
— У нас небольшая команда: руководитель, три ML-инженера и два ML Ops. В следующем году рассчитываем добавить еще одного ML-инженера – усиливаем защиту от мошенников и парсеров (программы, которые извлекают контент с сайта и используют его в мошеннических целях – прим. Digital Business).
Сознательно не раздуваем штат и не гонимся за хайпом вокруг ИИ. Нам важны не тренды, а инженеры, которые умеют решать задачи. Уверен, что технология сама по себе не живет, ее делают люди. И в приоритете всегда будет то, что дает ценность пользователю и продукту.
Kolesa Group начали работать с ML-решениями в 2017 году – одними из первых в Казахстане. Одни продукты – например, автомодерация объявлений – помогли компании избежать увеличения штата в 5 раз. Другие, вроде автоматизированной оценки недвижимости, позволяют пользователям не гадать о цене и сэкономить время, которое прежде тратили на мониторинг похожих объявлений.
Как внедрялись ML-решения, что общего у machine learning и молотка, в каких случаях умная модель – это зло, и зачем сотрудники Kolesa Group раз в год на сутки закрываются в офисе? Об этом и многом другом Digital Business рассказал Chief Development Officer компании Николай Киндяков.
— Kolesa Group начали использовать ИИ-решения еще 8 лет назад. Что стало первым продуктом и почему?
— Корректнее было бы назвать это ML-решениями, потому что ИИ – очень широкое понятие. Первым продуктом стала автомодерация объявлений. Во времена, когда «Колеса» и «Крыша» были газетами, объявления подавали по телефону. Газета выходила раз в неделю, поэтому приходилось ждать публикации.
Потом появились сайты и приложения. В 2017 году встал вопрос масштабирования — аудитория активно росла, и мы планировали запускать новый продукт. Но ручная проверка занимала много времени: пользователь ждал до 2 часов, пока модератор проверит объявление. С внедрением автомодерации это происходит за минуту. Она анализирует текст, стоп-слова, проверяет фото на наличие «запрещенки» – например, оружия в кадре. И если объявление соответствует правилам, оно появляется в приложении или на сайте без участия модераторов.
Старт проекта – в 2017 году, релиз – в октябре 2018-го. На обучение модели потратили около 9 месяцев.
На старте все решения нейросети перепроверяли модераторы. Когда точность проверки выросла, пошли по схеме: теперь большая часть объявлений проходит через автомодерацию, а людьми проверяются в основном нестандартные объявления. Сейчас автомодерация на Krisha.kz и Kolesa.kz – это не одна модель, а целая система связанных между собой нейросетей. Одна из них отслеживает в объявлениях ссылки на сторонние мессенджеры и сайты. Основная цель – безопасность пользователей: за пределами платформы мы не сможем зафиксировать подозрительные действия и своевременно помочь. Чтобы нейросеть не смогла опознать стоп-слова, люди писали их прямо на фотографиях, – отработали и этот кейс.
— С какими неожиданными сложностями столкнулись при реализации проекта?
— Любую модель нужно постоянно дообучать – это «налог на технологию». Но можно и перестараться с улучшениями. Например, в 2019 году появилась модель для опознания человека в кадре. По правилам, людей не должно быть на фото. Как выяснилось, ML обучили слишком хорошо: она ловила отражения в кузове, зеркалах или силуэт человека вдалеке – и не допускала объявление к публикации. Пришлось опытным путем подобрать настройки модели так, чтобы она могла выполнить задачу.
В целом, машинное обучение помогло не только пользователям, но и бизнесу, позволив не расширять штат. Сегодня в отделе сервиса около 130 человек – если бы не machine learning, их было бы около 700 – это посчитал на досуге наш СЕО.
— По каким критериям оцениваете, для решения какой задачи лучше подойдет ИИ?
— Сегодня почти все продуктовые решения, в том числе связанные с ML, принимаем на основе данных. Изучаем поведение пользователей, формируем гипотезы для улучшения продукта и проверяем их экспериментами в реальном продукте. В Kolesa Group в целом развита data driven культура.
Так было не всегда. В 2017-2018 годах решения принимались в основном на уровне видения руководителей и операционной аналитики вроде Google Analytics или Яндекс.Метрики. Это давало общую картину, но не позволяло понимать поведение пользователей и делать точные выводы.
Кроме того, никогда не выбираем технологии ради технологий. ML – это инструмент, вроде молотка: можно забивать гвозди, а можно ударить по пальцу. Важно сохранять баланс между пользой для клиентов, скоростью внедрения и бизнес-ценностью.
Поэтому, когда оцениваем задачу, учитываем несколько факторов. Во-первых, экономическая целесообразность: иногда дешевле и быстрее нанять людей или воспользоваться коробочным решением, чем строить ML-инфраструктуру самостоятельно. Затем оцениваем аналитическую зрелость продукта – без сильной аналитики, метрик и логов никакая ML не взлетит. Третье – ресурсная устойчивость. Важно честно ответить: готовы ли мы поддерживать модель постоянно, пока существует продукт? И последнее – горизонт задачи: если что-то «горит», ML – плохой инструмент, советовал бы коробочное решение.
— Часто ли обращаетесь к коробочным решениям?
— Мы не фанатики «все сами!», а прагматики. Хороший пример – голосовые помощники в Krisha.kz и Kolesa.kz. Используем стороннее решение, а поверх выстраиваем свою диалоговую логику. Но при этом очень аккуратно относимся к данным: не все можно отдавать внешним сервисам из соображений безопасности.
Голосовых помощников начали использовать в 2020 году для самых разных задач: опросы пользователей, продление объявлений, проверка жалоб и не только. До их появления сотрудники call-центра совершали около 400 тысяч звонков в месяц. С роботом стали делать в среднем 700 тысяч звонков. Это позволило масштабироваться и разгрузить операторов для более интересных задач.
— Вернемся к критериям оценки задач. Как при таком подходе в числе ваших ML-решений появилось сокрытие госномеров при продаже машины на Kolesa.kz? Проблема кажется довольно мелкой.
— Тут все началось не со стратегии и расчетов, а с «давайте попробуем». Просто увидели проблему глазами пользователя и не стали игнорировать.
До момента появления функции в 2020 году люди закрывали номера, как могли. Кто-то замазывал в редакторе, кто-то вешал на номер носок, тряпку или лист А4. Были комичные случаи: владельцы авто, стоя на одной ноге, заслоняли номер собственным ботинком. А однажды поставили перед машиной ребенка.
Казалось, что техническое решение проблемы будет простым. Но мы ошиблись:
- вместо номера закрывался одометр на приборной панели, а ключи, брелки, наклейки и даже ручки дверей казались модели госномерами;
- логотип Kolesa.kz на фото жил своей жизнью, неожиданно изменяя пропорции.
При этом сам номер иногда не «замазывался». Почему? Потому что ML – это не кнопка «сделать красиво». Модель нельзя спросить: «Почему ты так решила?». Когда все пошло не так, единственный выход – переобучить заново, а это долго и дорого. Тем не менее, конкретно с этим проектом – тот случай, когда не жалко было было усилий. Боль пользователей сняли? Да. Лишних отклонений на модерации стало меньше? Да. Улучшилось качество подачи объявлений? Да. Значит, оно того стоило.
— Поговорим о другом кейсе — автоматизации оценки недвижимости. Насколько решение удовлетворило пользователей?
— Это не фича ради фичи – до появления сервиса в 2021 году люди тратили кучу времени на ручную «аналитику»: открывали по 20 вкладок, сравнивали похожие объявления, пытались угадать цену. Сервис сделал процесс удобнее и вошел в топ-3 любимых фичей пользователей.
С технической стороны это был интересный проект, сделали его за 3 месяца. Главной целью было определить стоимость квартиры, исходя из цен на похожие объекты в тот же период времени. В итоге получили достаточно точную систему, которая реально помогает пользователям определить адекватную цену и быстрее продать недвижимость.
— Расскажите о создании рекомендательной системы на Krisha.kz и Kolesa.kz.
— Выдача объявлений долгое время была одинаковой для всех и не учитывала личные предпочтения. Впервые попробовали настроить персонализацию в 2019 году на Market.kz. ML-модель запоминала, что человек смотрит, на что кликает, что добавляет в избранное – и выдавала похожие объявления.
Первая версия рекомендательной системы провалилась — пользователи видели одни и те же объявления. В несколько итераций перестроили механику, переобучили модель, и продукт «поехал». Система стала предлагать подходящие объявления на основе предпочтений пользователя.
Этот сервис сейчас используем на Krisha.kz и Kolesa.kz.
— Были ли продукты, которые «не зашли» пользователям?
— Мы в Kolesa Group нормально относимся к неудачам. Главное не стесняться пробовать. Один из «не взлетевших» кейсов – в 2020 году делали автозаполнение параметров машины по фотографии в объявлении. Как это работало: загружаешь фото, а система сама определяет марку, поколение, объем двигателя. Как идея это выглядело эффектно, но на практике быстро стало понятно, что пользы от такой фичи мало. Параметры, которые мы могли с приемлемой точностью определить по фото, и так легко вносились. А для обучения более точной модели потребовались бы несоизмеримые затраты. Поэтому решили не заниматься очковтирательством и свернули эксперимент.
— Как в Kolesa Group происходит генерация идей?
— Очень часто они приходят от разработчиков, дизайнеров, аналитиков – от тех, кто каждый день руками «трогает» продукт и видит, где можно сделать лучше. Но хороший инженерный импульс нередко ломается о реальность: нет приоритета, нет ресурсов, нет «обоснования для бизнеса».
Чтобы не потерять мотивацию и не убить инициативу, в 2018 году внедрили внутренние хакатоны. Заранее выбираем время, отбираем идеи и на сутки закрываемся в офисе без телефонов и планерок, чтобы выдать живую версию продукта. Но главное даже не это! Мы научили ребят питчить идеи: обосновывать цифрами, считать ценность, объяснять пользу.
Первые ML-эксперименты – оттуда. Внедрение ChatGPT в сервис поддержки тоже пошло в разработку после хакатона. Кстати, они не только для «технарей» – ребята из маркетинга и продаж тоже участвуют, приходят с рабочими решениями, которые потом внедряем. Так что это уже часть культуры компании.
— Если вы даете людям возможность влиять на продукт, становится интересно, кто может попасть в ML-команду Kolesa Group и воспользоваться этой возможностью?
— У нас небольшая команда: руководитель, три ML-инженера и два ML Ops. В следующем году рассчитываем добавить еще одного ML-инженера – усиливаем защиту от мошенников и парсеров (программы, которые извлекают контент с сайта и используют его в мошеннических целях – прим. Digital Business).
Сознательно не раздуваем штат и не гонимся за хайпом вокруг ИИ. Нам важны не тренды, а инженеры, которые умеют решать задачи. Уверен, что технология сама по себе не живет, ее делают люди. И в приоритете всегда будет то, что дает ценность пользователю и продукту.
Поделиться
