The post has been translated automatically. Original language: Russian
Air Canada recently lost a legal dispute over its own chatbot, and this is a good lesson for anyone who implements AI in customer processes.
The client lost a loved one and went to the airline's website to clarify the terms of the discounted fare for the grieving. The chatbot informed us that the discount can be issued within 90 days after the flight. Jake bought the tickets at full price, made the trip and then applied for compensation.
Air Canada refused: according to the current rules, the discounted fare had to be issued before departure.
The client appealed to the courts. The airline tried to defend itself by saying that the chatbot is a separate system and the company is not responsible for its responses. The court did not agree with this and ordered Air Canada to pay compensation.
The key conclusion here is not legal, but architectural.
The chatbot didn't invent a random rule. He misinterpreted the company's existing policy — he confused the conditions for future and already completed flights. This is exactly how the language model works: it builds the statistically most likely answer, rather than consulting the source of truth.
And here there is a dangerous antipattern that is now appearing massively in companies: AI is beginning to be used as a mechanism for interpreting rules and processes.
The problem is not the quality of the model. The problem is where it is located in the process architecture.
The language model can:
— make mistakes in details;
— confusing exceptions;
— refer to outdated data;
— and at the same time sound absolutely convincing.
Therefore, the source of truth must remain in:
— approved regulations;
— rule systems;
— approval routes;
— business processes.
AI can help:
— search for information;
— explain;
— reduce the time spent working with data.
But he should not independently interpret the business rules on behalf of the company.
Integrating AI into the process architecture, without prejudice, is a more difficult task than deploying RAG. But it needs to be done first.
Although Air Canada paid only 650 Canadian dollars for this lesson, the company's reputation suffered the main damage.
Недавно Air Canada проиграла судебный спор из-за собственного чатбота — и это хороший урок для всех, кто внедряет AI в клиентские процессы.
Клиент потерял близкого человека и зашел на сайт авиакомпании уточнить условия льготного тарифа для скорбящих. Чатбот сообщил, что скидку можно оформить в течение 90 дней после перелета. Джейк купил билеты по полной цене, совершил поездку и затем подал заявку на компенсацию.
Air Canada отказала: по действующим правилам льготный тариф нужно было оформлять до вылета.
Клиент обратился в судебные инстанции. Авиакомпания попыталась защититься тем, что чатбот — это отдельная система, и компания не отвечает за его ответы. Суд с этим не согласился и обязал Air Canada выплатить компенсацию.
Ключевой вывод здесь не юридический, а архитектурный.
Чатбот не выдумал случайное правило. Он неверно интерпретировал существующую политику компании — перепутал условия для будущих и уже совершенных перелетов. Именно так и работает языковая модель: она строит статистически наиболее вероятный ответ, а не сверяется с источником истины.
И здесь возникает опасный антипаттерн, который сейчас массово появляется в компаниях: AI начинают использовать как механизм трактовки правил и процессов.
Проблема не в качестве модели. Проблема в том, где она находится в архитектуре процесса.
Языковая модель может:
— ошибаться в деталях;
— путать исключения;
— ссылаться на устаревшие данные;
— и при этом звучать абсолютно убедительно.
Поэтому источник истины должен оставаться в:
— утвержденных регламентах;
— системах правил;
— маршрутах согласования;
— бизнес-процессах.
AI может помогать:
— искать информацию;
— объяснять;
— сокращать время работы с данными.
Но он не должен самостоятельно трактовать правила бизнеса от имени компании.
Вписать AI в архитектуру процессов, без ущерба - задача более сложная, чем развернуть RAG. Но ее нужно выполнить в первую очередь.
Хотя Air Canada заплатила за этот урок всего 650 канадских долларов, основной ущерб понесла репутация компании.
Share
