The post has been translated automatically. Original language: Russian
Artificial intelligence is increasingly becoming a part of healthcare. It analyzes medical images, helps make clinical decisions, automates document management, and searches for patterns in large amounts of data.
But as such solutions spread, it becomes more interesting not to ask "what else can AI do?", but another one.: how to manage a system that continues to change after implementation and can influence people's decisions?
In September 2026, the UK National Commission for the Regulation of Artificial Intelligence in Healthcare published recommendations on the future model of AI regulation in medicine.
The document is interesting not only as another regulatory initiative. The logic of medical AI management itself is quite well formulated in it: it is not enough to check the product once before launching and allow its use. Security must be monitored throughout the entire life cycle of the system.
And some of the principles of this model are quite applicable at the level of individual companies and medical organizations, without waiting for the emergence of ideal regulation.
AI cannot be "implemented and forgotten"
We are used to perceiving classical software in a rather linear way: we have developed, tested, implemented, and continue to operate.
This logic works worse with artificial intelligence.
The quality of an AI system depends not only on the algorithm itself, but also on the data, the operating environment, the category of users, integrations, and exactly how employees use it in real work.
The British Commission separately draws attention to the risk of changing the characteristics of the system after implementation. A model that performed well during the initial test will not necessarily show the same results later or in a different environment.
Hence the first important principle:
The introduction of AI is not the final point of a project, but the beginning of controlled operation.
After the launch, it is necessary to continue monitoring the quality of the system, model changes, updates, incidents and the results of its use.
Control should depend on the risk
Not all AI systems are the same.
The service that helps to prepare the text of the document and the algorithm that influences the diagnosis obviously create different risks.
Therefore, the British commission suggests a risk-based approach: the higher the potential consequences of an error, the more serious the requirements for system verification, monitoring and control should be.
A rather practical principle can be deduced from this for organizations.
It is not necessary to create an equally difficult approval procedure for any tool labeled AI. It is much more useful to determine first:
- what the system does;
- what data does it use?;
- does its outcome affect a person's decisions;
- how serious can the consequences of a mistake be?;
- is it possible to detect this error before it causes harm?
And from this alone, determine the depth of verification.
The responsibility does not end with the developer.
Another strong idea of the British model is that the security of an AI system cannot be completely shifted to its manufacturer.
Once implemented, it becomes part of a specific infrastructure and a specific business process.
There are data, integrations, users, access rights, internal procedures, and people who make decisions based on the results of the system.
Therefore, an organization using AI also needs its own control loop.
Before implementation, it is useful to at least understand:
- what task is the system used for?;
- what data does it work with?;
- where and how is it placed;
- who is responsible for its operation;
- who makes the final decision;
- how is quality controlled?;
- what happens in case of an error or incident;
- how updates are checked;
- who has access to the system and data.
In fact, we are talking about AI governance, the rules for managing artificial intelligence within an organization.
Human oversight is more than a human in a chain
The British Commission specifically emphasizes the need for human control.
Especially where the result of the algorithm can affect human health.
But the mere presence of a human does not make the process safe.
If an employee simply clicks "confirm" under the result of the system, not understanding its limitations and not being able to verify the output, human oversight exists only on the business process diagram.
Therefore, along with the introduction of AI, another task arises — user education.
People need to understand what the system does, what it doesn't do, what errors are possible, and in what situations the result of the algorithm cannot be trusted automatically.
We need a registry of AI systems
Another rather mundane management idea follows from the recommendations of the commission.
Before managing the use of AI, an organization should at least know exactly where it uses it.
Today, AI may appear not only in a large medical system. It can be embedded in CRM, a mobile application, analytics, document processing, an internal assistant, or a small service created by employees to automate their own work.
Therefore, the first element of AI governance can be a regular registry.:
system → destination → owner → data used → risk level → location → responsible → date of last inspection.
It doesn't look as impressive as another presentation about AI transformation. But it is with such boring things that real management usually begins.
What can you take away from the British approach?
It seems to me that the value of the published recommendations lies precisely in the fact that a significant part of the principles were applicable even before the advent of detailed regulation.
An organization can already set up a simple process.:
initiative → identification of purpose and risk → verification of data and information security → profile assessment → pilot → decision on implementation → monitoring → periodic reassessment.
For solutions with minimal risk, this process may take very little time. For systems that influence medical decisions or work with sensitive data, the verification should be much deeper.
In other words, the task is not to put an additional bureaucratic barrier in front of AI.
The goal is for the company to understand what kind of AI it works with, why it works, what risks it creates, and who is responsible for it.
Instead of output
The British recommendations show an important shift in the approach to artificial intelligence: an AI system is considered not just as a software product that needs to be tested before implementation, but as a system that requires management throughout its entire lifecycle.
This approach includes risk assessment prior to launch, responsibility determination, data and information security control, human oversight, post-implementation monitoring, and periodic reassessment of the system.
As artificial intelligence spreads, it is the ability of an organization to manage such solutions that becomes no less important than the ability to develop and implement them.
Therefore, the question is gradually shifting from "is it possible to implement this AI system?" q "how to ensure its safe and controlled use after implementation?"
Искусственный интеллект все быстрее становится частью здравоохранения. Он анализирует медицинские изображения, помогает принимать клинические решения, автоматизирует работу с документами и ищет закономерности в больших массивах данных.
Но по мере распространения таких решений становится интереснее уже не вопрос «что еще умеет ИИ?», а другой: как управлять системой, которая после внедрения продолжает меняться и может влиять на решения людей?
В сентябре 2026 года Национальная комиссия Великобритании по регулированию искусственного интеллекта в здравоохранении опубликовала рекомендации по будущей модели регулирования AI в медицине.
Документ интересен не только как очередная регуляторная инициатива. В нем довольно хорошо сформулирована сама логика управления медицинским ИИ: недостаточно один раз проверить продукт перед запуском и разрешить его использование. Безопасность должна контролироваться на протяжении всего жизненного цикла системы.
И некоторые принципы этой модели вполне применимы на уровне отдельных компаний и медицинских организаций, не дожидаясь появления идеального регулирования.
ИИ нельзя «внедрить и забыть»
Классическое программное обеспечение мы привыкли воспринимать довольно линейно: разработали, протестировали, внедрили, дальше эксплуатируем.
С искусственным интеллектом эта логика работает хуже.
Качество AI-системы зависит не только от самого алгоритма, но и от данных, среды эксплуатации, категории пользователей, интеграций и того, как именно сотрудники используют ее в реальной работе.
Британская комиссия отдельно обращает внимание на риск изменения характеристик системы после внедрения. Модель, которая хорошо показала себя во время первоначальной проверки, не обязательно будет демонстрировать те же результаты спустя время или в другой среде.
Отсюда первый важный принцип:
внедрение ИИ — это не финальная точка проекта, а начало контролируемой эксплуатации.
После запуска необходимо продолжать наблюдать за качеством работы системы, изменениями модели, обновлениями, инцидентами и результатами ее использования.
Контроль должен зависеть от риска
Не все AI-системы одинаковы.
Сервис, который помогает подготовить текст документа, и алгоритм, влияющий на постановку диагноза, очевидно, создают разные риски.
Поэтому британская комиссия предлагает risk-based подход: чем выше потенциальные последствия ошибки, тем серьезнее должны быть требования к проверке, мониторингу и контролю системы.
Для организаций из этого можно вывести довольно практичный принцип.
Не обязательно создавать одинаково тяжелую процедуру согласования для любого инструмента с надписью AI. Гораздо полезнее сначала определить:
- что делает система;
- какие данные использует;
- влияет ли ее результат на решения человека;
- насколько серьезными могут быть последствия ошибки;
- можно ли обнаружить эту ошибку до того, как она причинит вред.
И уже от этого определять глубину проверки.
Ответственность не заканчивается на разработчике
Еще одна сильная идея британской модели — безопасность AI-системы нельзя полностью переложить на ее производителя.
После внедрения она становится частью конкретной инфраструктуры и конкретного бизнес-процесса.
Появляются данные, интеграции, пользователи, права доступа, внутренние процедуры и люди, которые принимают решения на основании результатов системы.
Поэтому организации, использующей ИИ, тоже нужен собственный контур управления.
До внедрения полезно как минимум понимать:
- для какой задачи используется система;
- с какими данными она работает;
- где и как она размещена;
- кто отвечает за ее эксплуатацию;
- кто принимает итоговое решение;
- как контролируется качество;
- что происходит при ошибке или инциденте;
- как проверяются обновления;
- кто имеет доступ к системе и данным.
Фактически речь идет об AI governance — правилах управления искусственным интеллектом внутри организации.
Human oversight — это больше, чем человек в цепочке
Британская комиссия отдельно подчеркивает необходимость человеческого контроля.
Особенно там, где результат работы алгоритма способен повлиять на здоровье человека.
Но само присутствие человека еще не делает процесс безопасным.
Если сотрудник просто нажимает «подтвердить» под результатом системы, не понимая ее ограничений и не имея возможности проверить вывод, human oversight существует только на схеме бизнес-процесса.
Поэтому вместе с внедрением AI возникает еще одна задача — обучение пользователей.
Люди должны понимать, что делает система, чего она не делает, какие ошибки возможны и в каких ситуациях результату алгоритма нельзя доверять автоматически.
Нужен реестр AI-систем
Из рекомендаций комиссии следует еще одна довольно приземленная управленческая мысль.
Прежде чем управлять использованием ИИ, организация должна хотя бы знать, где именно она его использует.
Сегодня AI может появиться не только в большой медицинской системе. Он может быть встроен в CRM, мобильное приложение, аналитику, обработку документов, внутреннего ассистента или небольшой сервис, созданный сотрудниками для автоматизации собственной работы.
Поэтому первым элементом AI governance может быть обычный реестр:
система → назначение → владелец → используемые данные → уровень риска → место размещения → ответственный → дата последней проверки.
Выглядит не так впечатляюще, как очередная презентация про AI transformation. Зато именно с таких скучных вещей обычно начинается реальное управление.
Что из британского подхода можно забрать себе
Мне кажется, ценность опубликованных рекомендаций именно в том, что значительная часть принципов применима еще до появления детального регулирования.
Организация уже сейчас может выстроить простой процесс:
инициатива → определение назначения и риска → проверка данных и информационной безопасности → профильная оценка → пилот → решение о внедрении → мониторинг → периодическая переоценка.
Для решений с минимальным риском этот процесс может занимать совсем немного времени. Для систем, влияющих на медицинские решения или работающих с чувствительными данными, проверка должна быть значительно глубже.
То есть задача не в том, чтобы поставить перед AI дополнительный бюрократический шлагбаум.
Задача в том, чтобы компания понимала, какой ИИ у нее работает, зачем он работает, какие риски создает и кто за него отвечает.
Вместо вывода
Британские рекомендации показывают важный сдвиг в подходе к искусственному интеллекту: AI-система рассматривается не просто как программный продукт, который необходимо проверить перед внедрением, а как система, требующая управления на протяжении всего жизненного цикла.
Такой подход включает оценку рисков до запуска, определение ответственности, контроль данных и информационной безопасности, человеческий надзор, мониторинг после внедрения и периодическую переоценку системы.
По мере распространения искусственного интеллекта именно способность организации управлять такими решениями становится не менее важной, чем способность их разрабатывать и внедрять.
Поэтому вопрос постепенно смещается от «можно ли внедрить эту AI-систему?» к «как обеспечить ее безопасное и контролируемое использование после внедрения?»
Share
