The post has been translated automatically. Original language: Russian
Artificial intelligence (AI) is increasingly being used by companies in various business processes.: It writes texts, analyzes data, generates images, automates tasks, and speeds up work as a result.
But along with the opportunities, new risks appear that require attention from management and the business as a whole. Let's look at some of them.
1. Hallucinations of AI
AI can make mistakes – and do it very confidently. Despite his convincing presentation, he is able to come up with facts, misinterpret data, and cite non-existent sources. Moreover, if you point out the error to the system, it will easily agree.: "Yes, you're right, there 's an inaccuracy here."
The problem is that not all mistakes are obvious. If incorrect AI responses are used without human verification, this can lead to incorrect management decisions and financial losses.
Therefore, it is important to fix a simple rule: AI results must be verified by humans, especially if they are used to make meaningful decisions or external communications.
2. Risks of data leakage
AI works with information – and often this information can be confidential. For example, employees can upload internal documents, unpublished financial data, personal data of employees or clients to external services.
In such cases, there is a risk of leakage: the data may be stored with a third-party provider or used to further train the model ( depending on the terms of service). Even if the probability is low, the consequences can be serious.
At the company level, it is necessary to define clear rules for working with sensitive data and communicate them to employees in the context of using AI tools.
3. Loss of control over AI within the company
In practice, AI is often implemented quickly and in parallel in different departments. Someone connected the service to analyze data, someone to automate correspondence, someone to generate code.
At some point, it may turn out that the organization does not
have a clear understanding.:
- where and what AI tools are used,
- what data do they process,
- who is responsible for their use.
In such conditions, AI turns into a "black box".
To avoid this, it is worth keeping a register of used AI solutions and appoint those responsible for their use. It is also important to inform employees about acceptable and approved tools in order to minimize the use of "shadow" services. It should also be noted that enterprise versions of AI services often offer additional data protection and access control functions, which can significantly reduce risks.
4. AI increases the likelihood of successful phishing attacks
Modern AI tools allow you to quickly create high-quality and convincing letters – without mistakes and in the right style. Attackers actively use this to prepare phishing attacks.
Today, a fraudulent email may look like a message from a supervisor or partner – with correct language and plausible details. This significantly increases the risk that an employee will believe and execute a malicious request.
Therefore, it is especially important to regularly raise awareness of employees in the field of cybersecurity, conduct training events and test phishing campaigns with analysis of the results.
5. New vulnerabilities in AI integrations
Companies are increasingly implementing AI agents and integrating them with internal systems such as databases, CRM, and file storage.
As a result, AI can gain access to corporate infrastructure. In certain scenarios (for example, if the system is incorrectly configured or insufficiently protected), he may perform undesirable actions or disclose sensitive information. In this sense, AI is becoming a new point of cyber risk.
To reduce the likelihood of incidents, it is important to restrict AI access to internal systems based on the principle of minimum necessary rights and regularly check the security of such integrations.
As a result, AI provides ample opportunities to increase efficiency and productivity. However, without understanding the associated risks and proper control, it can create serious problems, from financial losses to reputational damage.
The question today is no longer whether to use AI.
The question is how to do this consciously and safely.
Искусственный интеллект (далее - ИИ) всё активнее используется компаниями в различных бизнес-процессах: он пишет тексты, анализирует данные, генерирует изображения, автоматизирует задачи – и в итоге ускоряет работу.
Но вместе с возможностями появляются и новые риски, которые требуют внимания со стороны руководства и бизнеса в целом. Рассмотрим некоторые из них.
1. Галлюцинации ИИ
ИИ может ошибаться – и делать это очень уверенно. Несмотря на убедительную подачу, он способен додумывать факты, неправильно интерпретировать данные, ссылаться на несуществующие источники. Более того, если указать системе на ошибку, она легко согласится: «Да, вы правы, здесь неточность».
Проблема в том, что не все ошибки очевидны. Если некорректные ответы ИИ использовать без проверки человеком, это может привести к неправильным управленческим решениям и финансовым потерям.
Поэтому важно закрепить простое правило: результаты ИИ должны проходить проверку человеком, особенно если они используются для принятия значимых решений или внешних коммуникаций.
2. Риски утечки данных
ИИ работает с информацией –и нередко эта информация может быть конфиденциальной. Например, сотрудники могут загружать во внешние сервисы внутренние документы, неопубликованные финансовые данные, персональные данные сотрудников или клиентов.
В таких случаях возникает риск утечки: данные могут храниться у стороннего провайдера или использоваться для дообучения модели (в зависимости от условий сервиса). Даже если вероятность невелика, последствия могут быть серьёзными.
На уровне компании необходимо определить понятные правила работы с чувствительными данными и донести их до сотрудников в контексте использования ИИ-инструментов.
3. Потеря контроля над ИИ внутри компании
На практике ИИ часто внедряется быстро и параллельно в разных подразделениях. Кто-то подключил сервис для анализа данных, кто-то – для автоматизации переписки, кто-то – для генерации кода.
В какой-то момент может выясниться, что в организации нет
чёткого понимания:
- где и какие ИИ-инструменты используются,
- какие данные они обрабатывают,
- кто несёт ответственность за их применение.
В таких условиях ИИ превращается в «чёрный ящик».
Чтобы избежать этого, стоит вести реестр используемых ИИ-решений и назначать ответственных за их использование. Также важно информировать сотрудников о допустимых и одобренных инструментах, чтобы минимизировать использование «теневых» сервисов. Отдельно стоит отметить, что корпоративные версии ИИ-сервисов часто предлагают дополнительные функции по защите данных и управлению доступом – это может существенно снизить риски.
4. ИИ повышает вероятность успешных фишинговых атак
Современные ИИ-инструменты позволяют быстро создавать качественные и убедительные письма – без ошибок и в нужном стиле. Злоумышленники активно используют это для подготовки фишинговых атак.
Сегодня мошенническое письмо может выглядеть как сообщение от руководителя или партнёра – с корректным языком и правдоподобными деталями. Это значительно повышает риск того, что сотрудник поверит и выполнит вредоносный запрос.
Поэтому особенно важно регулярно повышать осведомлённость сотрудников в области кибербезопасности, проводить обучающие мероприятия и тестовые фишинговые кампании с разбором результатов.
5. Новые уязвимости в ИИ-интеграциях
Компании всё чаще внедряют ИИ-агентов и интегрируют их с внутренними системами – базами данных, CRM, файловыми хранилищами.
В результате ИИ может получить доступ к корпоративной инфраструктуре. При определённых сценариях (например, если система некорректно настроена или недостаточно защищена) он может выполнить нежелательные действия или раскрыть чувствительную информацию. В этом смысле ИИ становится новой точкой киберриска.
Для снижения вероятности инцидентов важно ограничивать доступ ИИ к внутренним системам по принципу минимально необходимых прав и регулярно проверять безопасность таких интеграций.
Как итог, ИИ предоставляет широкие возможности для повышения эффективности и производительности. Однако без понимания сопутствующих рисков и выстроенного контроля он может создать серьёзные проблемы – от финансовых потерь до репутационного ущерба.
Вопрос сегодня уже не в том, использовать ли ИИ.
Вопрос в том, как делать это осознанно и безопасно.
