The post has been translated automatically. Original language: Russian
On December 18, 2023, engineer Chris Bakke posted a screenshot. A few minutes earlier, he had “bought” a new Chevrolet Tahoe for $1. Not through a classic hack, but simply through a chat on the dealership's website. The bot replied literally: “That's a deal, and that's a legally binding offer.”The post has gained 20 million views. The dealer closed the chatbot on the same day.
What really happened. Bakke did not persuade the bot. He first gave him new instructions directly in the chat, and the model accepted them. After that, Tahoe's request for $1 was just a formality. The problem wasn't that “the AI was wrong.” The problem is that the language model has been given the opportunity to speak on behalf of the business — without any boundaries.
How is this fixed architecturally?
We need three layers with clear roles.:
- Input Guard — checks the incoming request. Stops attempts to change the behavior of the bot before the LLM sees it.
- Business Data Layer — gives the model only verified data: prices from CRM, discounts from approved rules, statuses from ERP. No independent decisions.
- Policy Guard Layer — checks the response before sending it to the client. It blocks everything that goes beyond the scope of authority: confirmation of the transaction, promise of discounts, legal formulations. Disputes are handled only through the manager.
AI can be a great and convenient customer service point. But the authority to confirm a deal is not about the language model. A system in which a bot speaks on behalf of a business without restrictions is not an AI problem, it is an incorrect architectural and managerial decision.
18 декабря 2023 года инженер Крис Бакке опубликовал скриншот. За несколько минут до этого он “купил” новый Chevrolet Tahoe за 1 доллар. Не через классический взлом, а просто через чат на сайте дилерского центра. Бот ответил буквально: “That’s a deal, and that’s a legally binding offer.”Пост набрал 20 миллионов просмотров. Дилер закрыл чатбот в тот же день.
Что на самом деле произошло. Бакке не уговаривал бота. Он сначала дал ему новые инструкции прямо в чате — и модель их приняла. После этого запрос Tahoe за $1 был лишь формальностью. Проблема была не в том, что “AI ошибся”. Проблема в том, что языковая модель получила возможность говорить от имени бизнеса — без каких-либо границ.
Как это исправляется архитектурно?
Нужны три слоя с чёткими ролями:
- Input Guard — проверяет входящий запрос. Отсекает попытки изменить поведение бота до того, как LLM его увидит.
- Business Data Layer — даёт модели только проверенные данные: цены из CRM, скидки из утверждённых правил, статусы из ERP. Никаких самостоятельных решений.
- Policy Guard Layer — проверяет ответ перед отправкой клиенту. Блокирует всё, что выходит за рамки полномочий: подтверждение сделки, обещание скидки, юридические формулировки. Спорные случаи — только через менеджера.
AI может быть отличной и удобной точкой обслуживания клиента. Но полномочия подтверждать сделку — это не про языковую модель. Система, в которой бот говорит от имени бизнеса без ограничений — это не AI-проблема, это неправильное архитектурное и управленческое решение.
Share
