05.08.26 (қоса алғанда)

договорная

MVP

Акт міндеттері

Робототехника

Нейротехнология және жасанды интеллект

БҚ/АЖ,

Конфигурация и настройки языковой модели

При использовании языковых моделей LLM в диалоговых сценариях обслуживания клиентов в телефонном канале наблюдается высокая задержка при генерировании первого ответа в каждом конкретном сеансе диалога с пользователем. Учитывая критичность к задержкам при голосовом взаимодействии в режиме реального времени, это оказывает негативное воздействие на общее восприятие человеком (собеседником) диалога с AI-ассистентом. Задержка связана с формированием контекста и кешированием запроса в языковой модели. Возможны вставки "заглушек" в интервалы времени, пока генерируется ответ LLM, однако это не технологическое решение задачи.

Конфигурация и настройки языковой модели, обеспечивающие снижение задержки при генерировании первого ответа.

Торчик В.В.