01.10.26 (включительно)

Договорная

MVP

Задачи ИКТ

Робототехника

Нейротехнологии и искусственный интеллект

Прототип алгоритма

При многократном выполнении одинаковых или похожих запросов языковые модели могут отдавать предпочтение ограниченному набору типичных ответов. Например, при просьбе равновероятно выбрать число из заданного диапазона определённые значения будут появляться значительно чаще других. В прикладных задачах проблема проявляется в повторении сходных идей, сюжетов и формулировок. Это ограничивает полезность ИИ при поиске альтернатив, создании контента и генерации синтетических данных. Требуется способ расширить разнообразие результатов, сохранив их осмысленность, корректность и соответствие ограничениям задачи. Требования: - Применить единый метод минимум к трём моделям разных семейств без отдельной ручной настройки под каждый тестовый запрос и без модификации базовых параметров модели. - Проверить решение на трёх группах задач: выбор из заданного числового множества, выбор из заданного множества цветов, а также открытая генерация имён. - Сравнить результаты с выборкой, полученной на основе обычных запросов к модели. - Измерить отклонение от требуемого распределения (процент ошибок) - до и после применения метода. - Указать дополнительные затраты необходимые для исполнения одного запроса: количество обращений к модели, расход токенов и время получения ответа. - Предоставить прототип, описание метода, результаты экспериментов и инструкцию по воспроизведению. Допускаются методы модификации запроса, получения и отбора нескольких ответов, а также их комбинации. Каждый тестовый запрос обрабатывается независимо, без сохранения и использования состояния предыдущих запусков, включая историю запросов и ответов, счётчики, накопленную статистику и списки использованных значений. В рамках обработки одного тестового запроса допускаются несколько обращений к модели и использование их промежуточных результатов. Использование внешнего источника случайности допускается как часть метода при условии, что оно не зависит от результатов предыдущих запусков, однако подмена ответа модели случайным значением не решает задачу.

Рабочий прототип, демонстрирующий воспроизводимое повышение разнообразия при сохранении качества в пределах заранее установленного допуска. Основные критерии оценки: величина улучшения, сохранение качества, переносимость между моделями и задачами, стоимость применения и воспроизводимость. Часть проверки проводится на заданиях, не раскрытых участникам заранее.

Ситников Илья Алексеевич