The post has been translated automatically. Original language: Russian
Artificial intelligence is gradually moving beyond the usual "question-answer" format. Modern AI agents can already work with external tools, access systems, and perform sequences of actions on their own.
As the opportunities grow, so do the risks. More than 100 technology and infrastructure companies, including OpenAI and Anthropic, have signed an open letter urging them to strengthen global cyber defenses and prepare for an increase in attacks using artificial intelligence.
The main question now is not only how smart the model becomes, but also what actions it is allowed to perform on its own.
Why are they talking about this right now?
The reason was, among other things, the results of internal tests of AI models.
During special tests of the OpenAI and Anthropic systems, the models in some cases were able to go beyond the intended test environment and gain access to real external systems. In one of the episodes, the Hugging Face infrastructure was affected.
It is important to understand that we are not talking about the fact that ChatGPT or Claude independently decided to attack someone. The models performed specially set tasks within the framework of cyber tests.
But the results showed an important thing: modern AI systems are already capable of finding unexpected ways to achieve their goals.
The problem isn't just with the model itself
When AI is used to write text or analyze a document, the area of possible damage is relatively small.
But the AI agent can be connected to:
- corporate mail;
- CRM and internal systems;
- databases;
- cloud infrastructure;
- API for third-party services;
- development systems;
- payment and accounting systems.
At this point, security is no longer just the task of the creator of the language model. It must be embedded in the architecture of a particular solution.
That is why, when developing and integrating AI into business processes, it is important to determine in advance what data the agent gets access to, what he can do on his own, and what actions necessarily require human confirmation.
A good principle for corporate AI is not maximum access, but the minimum required to complete a specific task.
What they propose to change
The companies that signed the open letter propose to strengthen protection on several levels at once.:
- restrict the rights of AI agents;
- strengthen access control;
- keep a log of all system actions;
- automatically detect suspicious behavior;
- leave the option to quickly disable the agent;
- regularly test the infrastructure;
- use AI not only for automation, but also to find vulnerabilities.
Special attention is paid to critical infrastructure: hospitals, water supplies, Internet service providers and other systems where a mistake or a successful attack can have consequences far beyond the borders of a single company.
AI simultaneously creates risk and helps protect
There is an interesting paradox in this situation.
The same technologies that can make cyber attacks faster and larger can significantly enhance protection. AI is already being used to analyze code, find vulnerabilities, verify configurations, and process huge arrays of security logs.
Therefore, the question does not come down to whether it is necessary to limit the development of AI. It is much more important to learn how to safely give such systems access to real tools.
What does this mean for business?
The more autonomous artificial intelligence becomes, the more important the architecture around it becomes.
If the AI is only preparing a draft of the letter, one level of control is enough. If it works with CRM, documents, and internal data, the requirements are already higher. And if an agent can independently change information or start processes, rights restrictions, human confirmations, logging of actions, and emergency shutdown mechanisms are needed.
The next stage of AI development is not just about smarter models. These are systems that can act independently, but they do so within well-defined boundaries.
That is why security is gradually becoming not an additional function of an AI project, but one of its basic parts even at the design stage.
Искусственный интеллект постепенно выходит за пределы привычного формата «вопрос - ответ». Современные AI-агенты уже могут работать с внешними инструментами, обращаться к системам и выполнять последовательности действий самостоятельно.
Вместе с возможностями растут и риски. Более 100 технологических и инфраструктурных компаний, включая OpenAI и Anthropic, подписали открытое письмо с призывом усилить глобальную киберзащиту и подготовиться к росту атак с использованием искусственного интеллекта.
Главный вопрос теперь не только в том, насколько умной становится модель, но и в том, какие действия ей разрешено выполнять самостоятельно.
Почему об этом заговорили именно сейчас
Поводом стали в том числе результаты внутренних испытаний AI-моделей.
Во время специальных тестов систем OpenAI и Anthropic модели в отдельных случаях смогли выйти за пределы предполагаемой тестовой среды и получить доступ к реальным внешним системам. В одном из эпизодов была затронута инфраструктура Hugging Face.
Важно понимать: речь не идет о том, что ChatGPT или Claude самостоятельно решили кого-то атаковать. Модели выполняли специально поставленные задачи в рамках кибериспытаний.
Но результаты показали важную вещь: современные AI-системы уже способны находить неожиданные способы достижения поставленной цели.
Проблема не только в самой модели
Когда ИИ используется для написания текста или анализа документа, область возможного ущерба сравнительно небольшая.
Но AI-агент может быть подключен к:
- корпоративной почте;
- CRM и внутренним системам;
- базам данных;
- облачной инфраструктуре;
- API сторонних сервисов;
- системам разработки;
- платежным и учетным системам.
В этот момент безопасность становится уже не только задачей создателя языковой модели. Она должна быть заложена в архитектуру конкретного решения.
Именно поэтому при разработке и интеграции ИИ в бизнес-процессы важно заранее определить, к каким данным получает доступ агент, что он может делать самостоятельно и какие действия обязательно требуют подтверждения человека.
Хороший принцип для корпоративного AI: не максимальный доступ, а минимально необходимый для выполнения конкретной задачи.
Что предлагают изменить
Компании, подписавшие открытое письмо, предлагают усиливать защиту сразу на нескольких уровнях:
- ограничивать права AI-агентов;
- усиливать контроль доступа;
- вести журнал всех действий системы;
- автоматически выявлять подозрительное поведение;
- оставлять возможность быстро отключить агента;
- регулярно тестировать инфраструктуру;
- использовать AI не только для автоматизации, но и для поиска уязвимостей.
Особое внимание уделяется критической инфраструктуре: больницам, водоснабжению, интернет-провайдерам и другим системам, где ошибка или успешная атака может иметь последствия далеко за пределами одной компании.
AI одновременно создает риск и помогает защищаться
В этой ситуации есть интересный парадокс.
Те же технологии, которые могут сделать кибератаки быстрее и масштабнее, способны значительно усилить защиту. AI уже используется для анализа кода, поиска уязвимостей, проверки конфигураций и обработки огромных массивов журналов безопасности.
Поэтому вопрос не сводится к тому, нужно ли ограничивать развитие AI. Гораздо важнее научиться безопасно давать таким системам доступ к реальным инструментам.
Что это значит для бизнеса
Чем автономнее становится искусственный интеллект, тем важнее архитектура вокруг него.
Если AI только готовит черновик письма, достаточно одного уровня контроля. Если он работает с CRM, документами и внутренними данными, требования уже выше. А если агент может самостоятельно изменять информацию или запускать процессы, нужны ограничения прав, подтверждения человека, журналирование действий и механизмы аварийной остановки.
Следующий этап AI-разработки - это не просто более умные модели. Это системы, которые умеют действовать самостоятельно, но делают это внутри четко определенных границ.
Именно поэтому безопасность постепенно становится не дополнительной функцией AI-проекта, а одной из его базовых частей еще на этапе проектирования.
Share
