05.08.26 (inclusive)

договорная

MVP

ICT tasks

Robotics

Neurotechnology and artificial Intelligence

Software/ IS,

Конфигурация и настройки языковой модели

При использовании языковых моделей LLM в диалоговых сценариях обслуживания клиентов в телефонном канале наблюдается высокая задержка при генерировании первого ответа в каждом конкретном сеансе диалога с пользователем. Учитывая критичность к задержкам при голосовом взаимодействии в режиме реального времени, это оказывает негативное воздействие на общее восприятие человеком (собеседником) диалога с AI-ассистентом. Задержка связана с формированием контекста и кешированием запроса в языковой модели. Возможны вставки "заглушек" в интервалы времени, пока генерируется ответ LLM, однако это не технологическое решение задачи.

Конфигурация и настройки языковой модели, обеспечивающие снижение задержки при генерировании первого ответа.

Торчик В.В.