The post has been translated automatically. Original language: Russian
Humans and AI can enhance each other's worst qualities.
Artificial intelligence is considered to be in two extremes.
In the first one, he becomes an almost universal savior: he eliminates mistakes, accelerates the economy, improves public administration, replaces routine work and helps people make more accurate decisions.
In the second case, it turns into an independent threat: it gets out of control, displaces a person and begins to determine the future against his will.
Both pictures simplify the real problem.
The main danger lies not in humans and not in artificial intelligence individually. It occurs at the moment of their connection inside an opaque system that works with unreliable data, allows blurring of authority and allows participants to hide behind the results of automatic analysis.
Human greed, political interest, fear, incompetence, and the desire to avoid responsibility can combine with machine speed, scalability, and the inability to independently understand the meaning of what is happening.
Such a connection can cause a systemic crisis.
But its first manifestation, most likely, will not be a rebellion of machines or a physical struggle between humans and robots.
A critical point may arise where the management of economics, law, science and social processes is concentrated today - in the reliability of data.
We are creating more and more information, but we are getting worse at understanding what we can trust.
Modern civilization exists because of information.
Contracts, payments, court decisions, medical reports, scientific research, government registers, educational results, property information, and corporate reporting are all data that society trusts under certain conditions.
Any solution starts with answering a few basic questions.:
• What happened;
• who performed the action;
• when it was committed;
• What information was provided;
• who confirmed them;
• did they change after the performance;
• on what basis the decision was made.
If the answers cannot be determined, not only the individual document is lost. The ability to manage the process is lost.
Artificial intelligence dramatically increases the scale of this problem.
He is able to create convincing texts, images, audio recordings, video materials, analytical reports and digital documents in a short time. At the same time, the external plausibility of the material is less evidence of its reliability.
The photo may look real, but it does not reflect the real event.
The document may contain the correct details, but it may never be signed by an authorized person.
An analytical report can use real numbers, but lead to a false conclusion due to incomplete data.
A scientific text can be logically constructed, but rely on non-existent sources.
The problem is not only that artificial intelligence is able to create lies. The lie has always existed.
The problem is that generating plausible content is becoming cheap, massive, and almost instantaneous.
Previously, creating a convincing fake required time, skills, and resources. Now one person can fill the information space with thousands of interconnected, seemingly consistent materials.
If such materials are used to train other models, a closed loop occurs. Artificial intelligence analyzes the content previously created by artificial intelligence, and then draws new conclusions based on the already distorted information field.
At the moment, the amount of information continues to grow, and the amount of knowledge being tested is decreasing.
The main mistake is to assume that artificial intelligence will establish the truth on its own.
Today, artificial intelligence is often credited with the ability to objectively analyze data and give a person a purified result.
This is a dangerous misconception.
Artificial intelligence does not automatically gain access to the truth. He gets access to a certain amount of data.
There is a fundamental difference between these concepts.
If the initial information is incomplete, distorted, or specially selected, the result of the analysis will also be limited. Even technically correct processing will not correct a false foundation.
The model can detect a contradiction between two documents, but it is not always able to determine which one reflects the real event.
It can determine that a digital signature is valid, but the signature itself does not prove the truth of every statement within the document.
She can compare thousands of records and identify an anomaly, but she doesn't necessarily understand its physical, legal, or social cause.
She can estimate the statistical probability, but the probability is not equal to the proven fact.
Numerical confidence indicators are especially dangerous, for example: "the data is reliable with a probability of 99.8 percent."
Such precision can create a false sense of objectivity. But without an explanation of the methodology, this figure does not guarantee anything.
It is necessary to know:
• what data was analyzed;
• which sources were missing;
• what criteria were applied;
• What alternative explanations have been considered;
• what exactly does the calculated probability mean?;
• is it possible to reproduce the result;
• whether the conclusion will change if the initial assumptions change.
AI analysis should be perceived not as a verdict or as the truth, but as an analytical conclusion with grounds, limitations and a degree of uncertainty.
A person also cannot be the sole guarantor of authenticity.
The answer to machine unreliability cannot be a return to the formula: "a human should make a decision, because only a human understands the truth."
Modern amounts of data exceed the capabilities of an individual.
Neither a judge, nor a doctor, nor an engineer, nor a government official, nor the head of a company are able to independently verify millions of related records, documents, transactions, digital signatures and changes.
A person is limited by time, attention, professional training, and self-interest.
He may be wrong.
May be biased.
He may not notice the contradiction.
Can consciously make a convenient decision.
He can formally confirm the result without understanding its content.
Therefore, a person should not replace the verification system.
But the system should not replace a person as a subject of final decision and responsibility.
The working model should not be based on the superiority of one side, but on a strict separation of functions.
The separation of roles is not a philosophical idea, but an engineering necessity.
The rational architecture of human-artificial intelligence interaction should answer three questions:
1. Who establishes and records the initial circumstances?
2. Who analyzes the data?
3. Who makes the decision and is responsible?
One participant should not be allowed to create data at the same time, verify it, interpret the result and confirm his own correctness.
It is necessary to separate at least four functional levels.
First level: participants and authorities.
The system should set not only the user's name, but also his role in a particular process.
The same person can act as the owner of the facility, the operator, the representative of the organization, the expert, the auditor or the authorized official.
Each role should have a limited set of actions.
It's not enough to know who pressed the button. It is necessary to install:
• did he have the right to perform this action;
• Did he act on his own behalf or on behalf of another person;
• on what basis were the powers granted;
• Whether these powers were in effect at the relevant time;
• Was additional confirmation required;
• whether there was a conflict of interest.
Without such a distinction digital identification is becoming a formality.
The system knows the user, but does not understand whether he had the right to do what he did.
From an engineering point of view, this task is solved by the strict implementation of the Zero Trust Architecture and dynamic access control models (RBAC/ABAC). We need end-to-end rights orchestration, in which no data request or AI model is executed without automatic validation of the subject's authority at a given second.
Moreover, the event capture protocol itself (the Second level) must be hardware protected from compromise. Replacing classic databases with Immutable distributed Ledgers or the Event Sourcing architecture ensures that no internal administrator or external hacker can erase the digital footprint. Each data change becomes a link in a cryptographically secure chain, where the past history is mathematically unchangeable.
Second level: verifiable event capture
Reliability does not arise at the time the final report is compiled. It is formed throughout the process.
It must be consistently fixed:
• Original condition;
• submitted information;
• participants in each action;
• time of the event;
• the basis of the change;
• previous and new versions;
• Confirmations of the parties;
• links to documents and other evidence;
• results of automatic checks;
• Decisions made.
Of particular importance is the inability to imperceptibly rewrite history. Correction of the error is acceptable. There is no hidden record replacement. If the information has changed, the system must save:
• what was stated earlier;
• what has been changed;
• who made the change;
• when it was entered;
• why was it allowed;
• which document or decision was referred to by the participant.
It is the sequence of events that makes it possible to establish not an abstract "truth in general", but a procedurally verifiable picture.:
who declared, submitted, confirmed, changed or rejected what and when.
This does not automatically guarantee physical truth beyond the digital circuit. But without such fixation, it is impossible even to establish what was happening inside him.
Third level: limited analytical AI.
Artificial intelligence should do the work that objectively exceeds human capabilities.:
• compare large amounts of data;
• look for logical contradictions;
• identify the absence of mandatory information;
• detect abnormal sequences of actions;
• compare documents and their versions;
• check the consistency of banking details;
• identify atypical deviations;
• create alternative scenarios;
• show the risks;
• indicate insufficient data.
But his powers should be limited.
The AI should not:
• imperceptibly change the original information;
• independently create legally significant facts;
• make an assumption as an established circumstance;
• hide alternative explanations;
• make a final decision on issues of rights and obligations;
• circumvent the established procedure;
• Replace the lack of evidence with your own conclusion.
The result of the analysis should contain not only the conclusion, but also its grounds.
A person needs to see:
• what data was used;
• what contradictions are found;
• what information is missing;
• Which versions are being considered;
• what restrictions exist;
• how much the conclusion depends on assumptions.
Without this, AI becomes not an analytical tool, but an opaque source of power.
Let's consider a classic grocery case: a medical AI assistant analyzes an MRI scan and recommends surgery, estimating the accuracy of the diagnosis at 98%. Streaming digitalization requires the doctor to press the "Accepted" button. But if the doctor does not see which artifacts in the image the model considered pathology, which alternative diagnoses it rejected, and on which dataset it studied (possibly irrelevant for this region), his signature becomes fiction. The doctor becomes a hostage of the "black box". In order for human control to remain real, the system interface must visualize the reasoning logic of the model (Explicable AI/XAI concept), giving the expert explicit points for verification or reasoned rejection.
Fourth level: human decision and real responsibility.
The final decision should be made by an authorized person or a collegial body.
However, one "Accepted" button is not enough.
Formal human confirmation does not make sense if a person:
• did not see the original data;
• did not understand the logic of the analysis;
• couldn't reject the recommendation;
• was forced to automatically agree;
• did not have the necessary authority;
• didn't have time to check;
• did not leave the motivation;
• does not bear any consequences for the decision.
Human participation becomes real only when a person can:
• familiarize yourself with the basics;
• Request additional information;
• suspend the procedure;
• reject the analysis result;
• choose an alternative option;
• explain your decision;
• confirm it with a personal or official signature;
• accept responsibility provided for by law or internal regulations.
AI can prepare a solution.
But an act of will that affects the rights, duties, and consequences for other people must be associated with a specific subject.
At the same time, responsibility cannot be automatically assigned only to the last person in the chain.
If the decision turned out to be wrong, it is necessary to determine the contribution of each participant.:
• who provided false information;
• who set up the analysis criteria;
• who developed or implemented the system;
• who ignored the warning;
• who restricted access to alternative information;
• Who made the final decision;
• who controlled the execution.
Responsibility should follow real authority and the ability to influence the outcome.
The system should not be allowed to hide prohibited actions and its own failures.
In most digital solutions, only successful transactions are recorded.
This creates a distorted picture.
If the user tried to change the data without authorization, perform a prohibited operation, or circumvent the established procedure, such an attempt is also considered an event.
It must be registered.
It is necessary to fix:
• the initiator of the attempt;
• requested action;
• the state of the object or process;
• reason for refusal;
• the applied rule;
• time of the event;
• repeated attempts;
• the technical result of the check.
Failures of the system itself should be recorded separately.:
• unavailability of the service;
• automatic verification failure;
• violation of the sequence of operations;
• loss of connection with the source;
• inability to verify the signature;
• discrepancy between modules;
• an attempt to directly change the data to bypass the established route.
A system that records user actions but hides its own mistakes cannot be considered reliable.
The human right to cancel the AI recommendation is mandatory, but it also needs to be controlled.
A person should have the right to reject an automatic recommendation.
class="paragraph"> Without this, the claim of human control becomes fiction.However, the free cancellation of any result without explanation also creates a risk.
If the official has ignored the warning of the system, it is necessary to fix:
• what kind of warning was issued;
• what data was it based on;
• who rejected it;
• what reason did you give;
• Was additional approval required;
• what were the consequences of the decision.
Thus, the right of final choice remains with the person, but the choice ceases to be invisible.
This is especially important in situations where a decision is made contrary to data, expert recommendations, or established rules.
The human right to exclusion should not become the right to irresponsible arbitrariness.
The crisis of authenticity is real, but disaster is not a prerequisite for development.
There is a temptation to imagine the future conflict between humans and artificial intelligence as an inevitable historical stage.
First the euphoria.
Then disaster struck.
After that, purification and a reasonable division of roles.
This scheme looks convincing, but it is not a proven law.
Society does often change the rules after major crises. However, this does not mean that it is necessary to wait for the crisis, much less allow it to develop.
The engineering approach is based on the opposite principle.:
do not wait for a real disaster, but simulate a failure in advance.
For this purpose, there are:
• Controlled testing;
• Independent audit;
• Pilot projects;
• Stress testing;
• checking boundary scenarios;
• Abuse modeling;
• Backup procedures;
• Phased commissioning;
• constant monitoring of changes.
It cannot be argued that humanity will necessarily reach the point of complete collapse of trust.
But it can be argued otherwise:
If systems for data origin, separation of powers, verifiable AI analysis, and personalized responsibility are not established in a timely manner, the likelihood of serious crises will increase.
At the same time, the crisis may not be a single and global one.
It can happen gradually:
• in the judicial system;
• in the financial sector;
• in scientific publications;
• in corporate reporting;
• in the media;
• in education;
• in medicine;
• in state registers.
Society may wake up one day in a world where all the truth has disappeared.
Or, more likely, a slow deterioration: more and more decisions will be made based on data whose origin cannot be verified, and responsibility for the consequences will dissolve between people, organizations and algorithms.
This scenario is especially dangerous because it can be perceived as normal digitalization for a long time.
The main question of the future is not "human or AI"
The juxtaposition of humans and artificial intelligence distracts from the real task.
It is necessary to ask not about who should win, but about:
• how the data is received;
• Who is responsible for their representation;
• is it possible to verify their origin;
• what changes have been taking place;
• who had access;
• what constraints were set for the model;
• why did the system suggest a specific conclusion;
• could the person reject it;
• who confirmed the final decision;
• Who is responsible for the consequences.
Without answers to these questions, even the most advanced artificial intelligence will operate within an environment of distrust.
Conversely, even a limited analytical tool can be useful if its findings are embedded in a transparent and verifiable procedure.
The future of human-AI interaction is determined not by the level of intelligence of the model, but by the quality of the architecture in which it operates.
A person should not compete with a car in speed, and a car should not compete with a person in responsibility.
Artificial intelligence is stronger than humans in processing large amounts of information.
He is able to quickly find connections that a person will not notice, compare thousands of sources and discover recurring patterns.
A person has something that a computational model does not have.:
• legal status;
• life experience;
• the ability to understand the consequences;
• an ethical position;
• the right to make a strong-willed decision;
• the responsibility to be responsible for him.
However, these differences do not work automatically.
A person can waive responsibility by referring to the algorithm.
AI can be presented as a neutral arbiter, although its criteria have been determined by interested people.
An organization can use automation to make it more difficult to find a specific culprit.
Therefore, the borders should not just be proclaimed, but technically fixed.
The machine analyzes, but does not assign itself the right to make a final decision.
A person makes a decision, but cannot hide its grounds and consequences.
The system records events, but does not declare itself the source of absolute truth.
Authenticity is not a property of a file, but the result of a process.
A document does not become reliable just because it is saved digitally.
Data does not become true just because it is recorded in a secure database.
A digital signature does not make the content that a person has signed true.
Artificial intelligence does not turn incomplete information into knowledge.
Reliability is formed through a set of conditions:
• the source has been identified;
• the authority has been established;
• the time is fixed;
• saved sequence of actions;
• Record integrity is ensured;
• Reasons for changes are available;
• Independent inspections have been carried out;
• Contradictions have been identified;
• uncertainty is preserved;
• the final decision was made by the authorized entity.
Therefore, the task of future digital systems is not to promise the absolute truth.
Such a task is impossible.
Their task is to ensure the most verifiable approximation to the actual circumstances and not to allow imperceptibly to substitute data, procedure or responsibility.
Conclusion
Combining human weaknesses with the capabilities of artificial intelligence can really enhance mistakes, manipulation, and irresponsibility.
But the problem is not solved by banning AI, returning to fully manual control, or believing that the new model will learn to distinguish truth from lies on its own.
An architecture is needed in which:
• Participants have been identified;
• Powers are limited;
• Events are recorded sequentially;
• changes do not destroy the previous history;
• Data sources can be verified;
• AI works as a limited analytical tool;
• conclusions are accompanied by grounds and uncertainty;
• prohibited actions and system failures are not hidden;
• a person may reject a recommendation;
• the final decision is related to a specific subject;
• Responsibility is distributed according to the actual influence of each participant.
A global catastrophe is not a necessary stage of development.
However, the refusal to create such mechanisms makes a crisis of credibility more and more likely.
The main contradiction of the future will not be between humans and artificial intelligence.
class="paragraph"> It will pass between systems in which the origin of the data, authority and responsibility can be verified, and systems that require you to trust the result, without allowing you to establish how it was obtained.It is reliability, not computing power, that will become the main deficit of the digital age.
Insight for Astana Hub founders and ecosystem:
This tectonic shift opens up a huge window of opportunity for tech entrepreneurs. The era of simple add-ons over ChatGPT ("AI wrappers" for routine automation) is coming to an end. A new global trend, where the battle for billions of capitalization will unfold, is the infrastructure of trust. The market is in dire need of startups creating tools for independent AI auditing, Data Provenance, and digital footprint encryption. Whoever is the first to offer the market a mature, boxed architecture for verifiable human-machine interaction will lead the next wave of technological unicorns.
Человек и ИИ могут усилить худшие качества друг друга.
Искусственный интеллект принято рассматривать в двух крайностях.
В первой он становится почти универсальным спасителем: устраняет ошибки, ускоряет экономику, совершенствует государственное управление, заменяет рутинный труд и помогает человеку принимать более точные решения.
Во второй — превращается в самостоятельную угрозу: выходит из-под контроля, вытесняет человека и начинает определять будущее вопреки его воле.
Обе картины упрощают реальную проблему.
Главная опасность заключается не в человеке и не в искусственном интеллекте по отдельности. Она возникает в момент их соединения внутри непрозрачной системы, которая работает с недостоверными данными, допускает размывание полномочий и позволяет участникам скрываться за результатами автоматического анализа.
Человеческая жадность, политический интерес, страх, некомпетентность и стремление избежать ответственности могут соединиться с машинной скоростью, масштабируемостью и неспособностью самостоятельно понимать смысл происходящего.
Такое соединение способно вызвать системный кризис.
Но первым его проявлением, вероятнее всего, станет не восстание машин и не физическая борьба человека с роботами.
Критическая точка может возникнуть там, где сегодня сосредоточено управление экономикой, правом, наукой и общественными процессами, - в достоверности данных.
Мы создаём всё больше информации, но всё хуже понимаем, чему можно доверять.
Современная цивилизация существует благодаря информации.
Договоры, платежи, судебные решения, медицинские заключения, научные исследования, государственные реестры, образовательные результаты, сведения о собственности и корпоративная отчётность это всё это представляет собой данные, которым общество при определённых условиях доверяет.
Любое решение начинается с ответа на несколько базовых вопросов:
• что произошло;
• кто совершил действие;
• когда оно было совершено;
• какие сведения были представлены;
• кто их подтвердил;
• менялись ли они после представления;
• на каком основании было принято решение.
Если ответы нельзя установить, теряется не только отдельный документ. Теряется возможность управлять процессом.
Искусственный интеллект резко увеличивает масштаб этой проблемы.
Он способен за короткое время создавать убедительные тексты, изображения, аудиозаписи, видеоматериалы, аналитические отчёты и цифровые документы. При этом внешняя правдоподобность материала всё меньше свидетельствует о его достоверности.
Фотография может выглядеть настоящей, но не отражать реального события.
Документ может содержать правильные реквизиты, но никогда не быть подписанным уполномоченным лицом.
Аналитический отчёт может использовать реальные цифры, но приводить к ложному выводу из-за неполноты данных.
Научный текст может быть логично построен, но опираться на несуществующие источники.
Проблема состоит не только в том, что искусственный интеллект умеет создавать ложь. Ложь существовала всегда.
Проблема заключается в том, что генерация правдоподобного содержания становится дешёвой, массовой и практически мгновенной.
Раньше создание убедительной подделки требовало времени, квалификации и ресурсов. Теперь один человек может заполнить информационное пространство тысячами взаимосвязанных, внешне непротиворечивых материалов.
Если такие материалы начинают использоваться для обучения других моделей, возникает замкнутый цикл. Искусственный интеллект анализирует содержание, ранее созданное искусственным интеллектом, а затем производит новые выводы на основании уже искажённого информационного поля.
В данный момент количество информации продолжает расти, а объём проверяемого знания сокращается.
Главная ошибка - считать, что искусственный интеллект сам установит истину.
Сегодня искусственному интеллекту нередко приписывают способность объективно анализировать данные и выдавать человеку очищенный результат.
Это опасное заблуждение.
Искусственный интеллект не получает автоматического доступа к истине. Он получает доступ к определённому массиву данных.
Между этими понятиями существует принципиальная разница.
Если исходные сведения неполны, искажены или специально подобраны, результат анализа также будет ограниченным. Даже технически корректная обработка не исправит ложное основание.
Модель может обнаружить противоречие между двумя документами, но не всегда способна установить, какой из них отражает реальное событие.
Она может определить, что цифровая подпись действительна, но сама по себе подпись не доказывает истинность каждого утверждения внутри документа.
Она может сравнить тысячи записей и выявить аномалию, но не обязательно понимает её физическую, юридическую или социальную причину.
Она может оценить статистическую вероятность, но вероятность не равна доказанному факту.
Особенно опасны числовые показатели уверенности, например: «данные достоверны с вероятностью 99,8 процента».
Такая точность может создавать ложное ощущение объективности. Но без объяснения методики эта цифра ничего не гарантирует.
Необходимо знать:
• какие данные анализировались;
• какие источники отсутствовали;
• какие критерии применялись;
• какие альтернативные объяснения рассматривались;
• что именно означает рассчитанная вероятность;
• можно ли воспроизвести результат;
• изменится ли вывод при изменении исходных предположений.
ИИ-анализ должен восприниматься не как приговор и не как истина, а как аналитическое заключение, имеющее основания, ограничения и степень неопределённости.
Человек также не может быть единственным гарантом достоверности.
Ответом на машинную ненадёжность не может стать возвращение к формуле: «решение должен принимать человек, потому что только человек понимает истину».
Современные объёмы данных превышают возможности отдельного человека.
Ни судья, ни врач, ни инженер, ни государственный служащий, ни руководитель компании не способны самостоятельно проверить миллионы связанных записей, документов, транзакций, цифровых подписей и изменений.
Человек ограничен временем, вниманием, профессиональной подготовкой и собственными интересами.
Он может ошибаться.
Может быть предвзят.
Может не заметить противоречие.
Может сознательно принять удобное решение.
Может формально подтвердить результат, не понимая его содержания.
Поэтому человек не должен заменять собой систему проверки.
Но и система не должна заменять человека как субъекта окончательного решения и ответственности.
Рабочая модель должна строиться не на превосходстве одной стороны, а на жёстком разделении функций.
Разделение ролей — не философская идея, а инженерная необходимость.
Рациональная архитектура взаимодействия человека и искусственного интеллекта должна отвечать на три вопроса:
1. Кто устанавливает и фиксирует исходные обстоятельства?
2. Кто анализирует данные?
3. Кто принимает решение и несёт ответственность?
Нельзя позволять, чтобы один участник одновременно создавал данные, проверял их, интерпретировал результат и подтверждал собственную правоту.
Необходимо разделить как минимум четыре функциональных уровня.
Первый уровень: участники и полномочия.
Система должна устанавливать не только имя пользователя, но и его роль в конкретном процессе.
Один и тот же человек может выступать владельцем объекта, оператором, представителем организации, экспертом, аудитором или уполномоченным должностным лицом.
Каждая роль должна иметь ограниченный набор действий.
Недостаточно знать, кто нажал кнопку. Необходимо установить:
• имел ли он право совершать это действие;
• действовал ли он от собственного имени или от имени другого лица;
• на каком основании были предоставлены полномочия;
• действовали ли эти полномочия в соответствующий момент;
• требовалось ли дополнительное подтверждение;
• существовал ли конфликт интересов.
Без такого разграничения цифровая идентификация превращается в формальность.
Система знает пользователя, но не понимает, имел ли он право делать то, что сделал.
С инженерной точки зрения эта задача решается жестким внедрением архитектуры нулевого доверия (Zero Trust Architecture) и динамических моделей контроля доступа (RBAC/ABAC). Нам необходима сквозная оркестрация прав, при которой ни один запрос к данным или ИИ-модели не выполняется без автоматической валидации полномочий субъекта в данную секунду.
Более того, сам протокол фиксации событий (Второй уровень) должен быть аппаратно защищен от компрометации. Замена классических баз данных на неизменяемые распределенные реестры (Immutable Ledgers) или архитектуру Event Sourcing гарантирует, что ни один внутренний администратор или внешний хакер не сможет стереть цифровой след. Каждое изменение данных становится звеном в криптографически защищенной цепочке, где прошлая история математически неизменяема.
Второй уровень: проверяемая фиксация событий
Достоверность не возникает в момент составления итогового отчёта. Она формируется на всём протяжении процесса.
Необходимо последовательно фиксировать:
• первоначальное состояние;
• представленные сведения;
• участников каждого действия;
• время события;
• основание изменения;
• предыдущую и новую версии;
• подтверждения сторон;
• ссылки на документы и иные доказательства;
• результаты автоматических проверок;
• принятые решения.
Особое значение имеет невозможность незаметно переписать историю. Исправление ошибки допустимо. Скрытая замена записи — нет. Если сведения изменились, система должна сохранить:
• что было указано ранее;
• что изменено;
• кто внёс изменение;
• когда оно было внесено;
• почему оно было разрешено;
• на какой документ или решение ссылался участник.
Именно последовательность событий позволяет устанавливать не абстрактную «истину вообще», а процессуально проверяемую картину:
кто, что и когда заявил, представил, подтвердил, изменил или отклонил.
Это не гарантирует автоматически физическую истину за пределами цифрового контура. Но без такой фиксации невозможно даже установить, что происходило внутри него.
Третий уровень: ограниченный аналитический ИИ.
Искусственный интеллект должен выполнять ту работу, которая объективно превышает возможности человека:
• сопоставлять большие массивы данных;
• искать логические противоречия;
• выявлять отсутствие обязательных сведений;
• обнаруживать аномальные последовательности действий;
• сравнивать документы и их версии;
• проверять согласованность реквизитов;
• выявлять нетипичные отклонения;
• формировать альтернативные сценарии;
• показывать риски;
• указывать на недостаточность данных.
Но его полномочия должны быть ограничены.
ИИ не должен:
• незаметно изменять исходные сведения;
• самостоятельно создавать юридически значимые факты;
• выдавать предположение за установленное обстоятельство;
• скрывать альтернативные объяснения;
• принимать окончательное решение по вопросам прав и обязанностей;
• обходить установленную процедуру;
• заменять отсутствие доказательств собственным выводом.
Результат анализа должен содержать не только заключение, но и его основания.
Человеку необходимо видеть:
• какие данные использованы;
• какие противоречия обнаружены;
• какие сведения отсутствуют;
• какие версии рассматриваются;
• какие ограничения существуют;
• насколько вывод зависит от предположений.
Без этого ИИ становится не аналитическим инструментом, а непрозрачным источником власти.
Рассмотрим классический продуктовый кейс: медицинский ИИ-ассистент анализирует МРТ-снимок и рекомендует операцию, оценивая точность диагноза в 98%. Потоковая цифровизация требует от врача нажать кнопку «Принято». Но если врач не видит, какие именно артефакты на снимке модель посчитала патологией, какие альтернативные диагнозы она отбросила и на каком датасете обучалась (возможно, нерелевантном для данного региона), его подпись становится фикцией. Врач превращается в заложника «черного ящика». Чтобы человеческий контроль оставался реальным, интерфейс системы обязан визуализировать логику рассуждений модели (концепция Explainable AI / XAI), давая эксперту явные точки для верификации или аргументированного отказа.
Четвёртый уровень: решение человека и реальная ответственность.
Финальное решение должно приниматься уполномоченным человеком или коллегиальным органом.
Однако одной кнопки «Принято» недостаточно.
Формальное человеческое подтверждение не имеет смысла, если человек:
• не видел исходные данные;
• не понимал логику анализа;
• не мог отклонить рекомендацию;
• был вынужден автоматически согласиться;
• не обладал необходимыми полномочиями;
• не имел времени на проверку;
• не оставил мотивировку;
• не несёт никаких последствий за решение.
Человеческое участие становится реальным только тогда, когда лицо может:
• ознакомиться с основаниями;
• запросить дополнительные сведения;
• приостановить процедуру;
• отклонить результат анализа;
• выбрать альтернативный вариант;
• объяснить своё решение;
• подтвердить его личной или должностной подписью;
• принять предусмотренную законом или внутренними правилами ответственность.
ИИ может подготовить решение.
Но акт воли, влияющий на права, обязанности и последствия для других людей, должен быть связан с определённым субъектом.
При этом ответственность нельзя автоматически возлагать только на последнего человека в цепочке.
Если решение оказалось ошибочным, необходимо устанавливать вклад каждого участника:
• кто представил недостоверные данные;
• кто настроил критерии анализа;
• кто разработал или внедрил систему;
• кто проигнорировал предупреждение;
• кто ограничил доступ к альтернативной информации;
• кто принял окончательное решение;
• кто контролировал исполнение.
Ответственность должна следовать за реальными полномочиями и возможностью влиять на результат.
Нельзя позволять системе скрывать запрещённые действия и собственные сбои.
В большинстве цифровых решений фиксируются только успешные операции.
Это создаёт искажённую картину.
Если пользователь пытался изменить данные без полномочий, провести запрещённую операцию или обойти установленный порядок, такая попытка также является событием.
Она должна быть зарегистрирована.
Необходимо фиксировать:
• инициатора попытки;
• запрошенное действие;
• состояние объекта или процесса;
• причину отказа;
• применённое правило;
• время события;
• повторные попытки;
• технический результат проверки.
Отдельно должны регистрироваться сбои самой системы:
• недоступность сервиса;
• отказ автоматической проверки;
• нарушение последовательности операций;
• потеря связи с источником;
• невозможность подтвердить подпись;
• расхождение между модулями;
• попытка прямого изменения данных в обход установленного маршрута.
Система, которая фиксирует действия пользователей, но скрывает собственные ошибки, не может считаться надёжной.
Право человека отменить рекомендацию ИИ обязательно, но его тоже нужно контролировать.
Человек должен иметь право отклонить автоматическую рекомендацию.
Без этого утверждение о человеческом контроле становится фикцией.
Однако свободная отмена любого результата без объяснения также создаёт риск.
Если должностное лицо проигнорировало предупреждение системы, необходимо зафиксировать:
• какое предупреждение было выдано;
• на каких данных оно основывалось;
• кто его отклонил;
• какую причину указал;
• требовалось ли дополнительное согласование;
• к каким последствиям привело решение.
Таким образом, право окончательного выбора сохраняется за человеком, но выбор перестаёт быть невидимым.
Это особенно важно в ситуациях, когда решение принято вопреки данным, рекомендациям экспертов или установленным правилам.
Человеческое право на исключение не должно становиться правом на безответственный произвол.
Кризис достоверности реален, но катастрофа не является обязательным условием развития
Существует соблазн представить будущий конфликт человека и искусственного интеллекта как неизбежный исторический этап.
Сначала эйфория.
Затем катастрофа.
После неё — очищение и разумное разделение ролей.
Такая схема выглядит убедительно, но она не является доказанным законом.
Общество действительно часто меняет правила после крупных кризисов. Однако это не означает, что кризис необходимо ждать или тем более позволять ему развиваться.
Инженерный подход строится на противоположном принципе:
не ждать реальной катастрофы, а моделировать отказ заранее.
Для этого существуют:
• контролируемые испытания;
• независимый аудит;
• пилотные проекты;
• стресс-тестирование;
• проверка граничных сценариев;
• моделирование злоупотреблений;
• резервные процедуры;
• поэтапный ввод в эксплуатацию;
• постоянный контроль изменений.
Нельзя утверждать, что человечество обязательно достигнет точки полного обрушения доверия.
Но можно утверждать другое:
если системы происхождения данных, разграничения полномочий, проверяемого ИИ-анализа и персонализированной ответственности не будут созданы своевременно, вероятность серьёзных кризисов будет увеличиваться.
При этом кризис может быть не единым и глобальным.
Он может происходить постепенно:
• в судебной системе;
• в финансовом секторе;
• в научных публикациях;
• в корпоративной отчётности;
• в средствах массовой информации;
• в образовании;
• в медицине;
• в государственных реестрах.
Общество может проснуться однажды в мире, где исчезла вся правда.
Или, что гораздо вероятнее медленное ухудшение: всё больше решений будут приниматься на основании данных, происхождение которых невозможно проверить, а ответственность за последствия будет растворяться между людьми, организациями и алгоритмами.
Именно такой сценарий особенно опасен, потому что долгое время может восприниматься как нормальная цифровизация.
Главный вопрос будущего — не «человек или ИИ»
Противопоставление человека и искусственного интеллекта отвлекает от реальной задачи.
Необходимо спрашивать не о том, кто должен победить, а о том:
• как получены данные;
• кто отвечает за их представление;
• можно ли проверить их происхождение;
• какие изменения происходили;
• кто имел доступ;
• какие ограничения были заданы модели;
• почему система предложила конкретный вывод;
• мог ли человек его отклонить;
• кто подтвердил итоговое решение;
• кто отвечает за последствия.
Без ответов на эти вопросы даже самый совершенный искусственный интеллект будет работать внутри среды недоверия.
И наоборот: даже ограниченный аналитический инструмент может быть полезным, если его выводы встроены в прозрачную и проверяемую процедуру.
Будущее взаимодействия человека и ИИ определяется не уровнем интеллекта модели, а качеством архитектуры, в которой она работает.
Человек не должен конкурировать с машиной в скорости, а машина — с человеком в ответственности.
Искусственный интеллект сильнее человека в обработке больших массивов информации.
Он способен быстро находить связи, которые человек не заметит, сопоставлять тысячи источников и обнаруживать повторяющиеся закономерности.
Человек обладает тем, чего нет у вычислительной модели:
• правовым статусом;
• жизненным опытом;
• способностью осознавать последствия;
• этической позицией;
• правом принимать волевое решение;
• обязанностью отвечать за него.
Однако эти различия не работают автоматически.
Человек может отказаться от ответственности, сославшись на алгоритм.
ИИ может быть представлен как нейтральный арбитр, хотя его критерии были определены заинтересованными людьми.
Организация может использовать автоматизацию, чтобы усложнить поиск конкретного виновного.
Поэтому границы должны быть не просто провозглашены, а технически закреплены.
Машина анализирует, но не присваивает себе право окончательного решения.
Человек принимает решение, но не может скрыть его основания и последствия.
Система фиксирует события, но не объявляет себя источником абсолютной истины.
Достоверность — это не свойство файла, а результат процесса.
Документ не становится достоверным только потому, что он сохранён в цифровом виде.
Данные не становятся истинными только потому, что они записаны в защищённую базу.
Цифровая подпись не делает истинным содержание, которое подписал человек.
Искусственный интеллект не превращает неполные сведения в знание.
Достоверность формируется через совокупность условий:
• идентифицирован источник;
• установлены полномочия;
• зафиксировано время;
• сохранена последовательность действий;
• обеспечена целостность записей;
• доступны основания изменений;
• проведены независимые проверки;
• выявлены противоречия;
• сохранена неопределённость;
• итоговое решение принято уполномоченным субъектом.
Следовательно, задача будущих цифровых систем — не обещать абсолютную истину.
Такая задача невыполнима.
Их задача — обеспечить максимально проверяемое приближение к фактическим обстоятельствам и не позволить незаметно подменить данные, процедуру или ответственность.
Вывод
Соединение человеческих слабостей с возможностями искусственного интеллекта действительно способно усилить ошибки, манипуляции и безответственность.
Но проблема не решается запретом ИИ, возвращением к полностью ручному управлению или верой в то, что новая модель сама научится отличать правду ото лжи.
Необходима архитектура, в которой:
• участники идентифицированы;
• полномочия ограничены;
• события фиксируются последовательно;
• изменения не уничтожают предыдущую историю;
• источники данных могут быть проверены;
• ИИ работает как ограниченный аналитический инструмент;
• выводы сопровождаются основаниями и неопределённостью;
• запрещённые действия и системные сбои не скрываются;
• человек может отклонить рекомендацию;
• окончательное решение связано с конкретным субъектом;
• ответственность распределяется в соответствии с реальным влиянием каждого участника.
Глобальная катастрофа не является обязательной ступенью развития.
Однако отказ от создания таких механизмов делает кризис достоверности всё более вероятным.
Главное противоречие будущего пройдёт не между человеком и искусственным интеллектом.
Оно пройдёт между системами, в которых происхождение данных, полномочия и ответственность можно проверить, и системами, которые требуют доверять результату, не позволяя установить, как он был получен.
Именно достоверность, а не вычислительная мощность, станет основным дефицитом цифровой эпохи.
Инсайт для фаундеров и экосистемы Astana Hub:
Этот тектонический сдвиг открывает колоссальное окно возможностей для технологических предпринимателей. Эпоха простых надстроек над ChatGPT («ИИ-оберток» для автоматизации рутины) подходит к концу. Новый глобальный тренд, где развернется битва за миллиардные капитализации, — это инфраструктура доверия. Рынок остро нуждается в стартапах, создающих инструменты для независимого ИИ-аудита, валидации синтетических данных (Data Provenance) и шифрования цифрового следа. Тот, кто первым предложит рынку зрелую, коробочную архитектуру проверяемого взаимодействия человека и машин, возглавит следующую волну технологических «единорогов».
Share
