The post has been translated automatically. Original language: Russian
The authors of the article:
Evgeny Seisebaev is the author of SCRO+AI
Seisebaev Kairat
Introduction
The development of artificial intelligence is usually presented as a one-way process: a machine becomes more powerful, and a person decides whether to allow it to take the next step or stop it.
This picture is incomplete.
Today, humans and artificial intelligence are not just developing side by side. They are increasingly influencing the direction of each other's development. And this influence is not always positive.
A person uses AI to free himself from intellectual work, but often frees himself not for more complex creativity, but from the need to think at all. Artificial intelligence, in turn, develops within the framework set by humans, which requires them to be understandable, similar, emotionally comfortable, and predictable by human standards.
As a result, double braking occurs.
The person gradually transfers his own functions to the machine — formulation of thoughts, analysis, selection of arguments, creation of texts, search for solutions and even setting goals.
AI is simultaneously forced to copy human speech, human logic of explanation, human sequence of reasoning, and human understanding of what intelligence should be.
A person runs the risk of becoming a passive consumer of ready-made answers.
AI runs the risk of becoming an extremely expensive imitation of a human.
This is not a synergy.
Synergy is possible only with another principle: humans and artificial intelligence should develop not through mutual copying, but through deepening their own nature and their own strengths.
A person should become a more developed person.
AI should become a more sophisticated computer.
Their power arises not from similarities, but from differences.
1. The main mistake: a person is trying to create an artificial person
Much of the modern AI industry is built around an anthropomorphic model.
Artificial intelligence is being taught:
• Speak like a human;
• Maintain a conversation like a human being;
• Portray emotional understanding;
• explain your results in the form of human reasoning;
• perform social roles;
• demonstrate a familiar sequence of thought.
This strategy is commercially understandable. It is easier for the user to interact with a system that seems familiar, polite, and psychologically understandable.
But the convenience of the interface is gradually beginning to replace the idea of intelligence itself.
The ability to imitate humans well is taken as a criterion for the development of AI.
The more naturally a machine talks, the more "reasonable" it seems.
The more her answer resembles a human explanation, the more credible it is.
But the external resemblance to a human does not mean that the system uses a human way of processing information. It also does not mean that it is the imitation of a human being that is the most promising direction for its development.
Artificial intelligence did not arise as a biological being. He has no human body, limited working memory, life experience, mortality, instincts, and a natural social environment.
Its advantages lie elsewhere.:
• in the speed of calculations;
• simultaneous comparison of a large number of features;
• processing huge amounts of information;
• in search of statistical and structural dependencies;
• in multiple modeling of variants;
• the ability to perform operations on a scale inaccessible to an individual.
But instead of consistently developing these differences, humans seek to force AI to pass the humanity test.
He doesn't just ask, "How well does the system solve the problem?"
He asks: "Can she explain it the way a human would?"
"Can she talk in a way that makes me feel comfortable?"
"Can she reason in a sequence that I can repeat?"
This is how they begin to evaluate a space telescope by how convenient it is for them to read small text.
A tool of a fundamentally different nature is forced to prove its value through imitation of a human being.
2. Understanding AI does not mean making it think like a human.
It is necessary to draw a fundamental boundary here.
You can't just say that a person doesn't need to understand how AI works. Such a formulation can become an excuse for lack of control, opacity and irresponsibility.
But the requirement of a complete human understanding of each internal calculation also becomes a limitation.
There are two different kinds of understanding.
Understanding the internal computing process
A person may seek to reconstruct exactly how a huge model processed billions of interrelated parameters and why a specific set of calculations led to this result.
A complete reproduction of such a process in the form of human consistent reasoning is often impossible.
And this is not necessarily a defect.
A person is also unable to mentally repeat:
• all operations of a modern processor;
• the movement of each electron in the computer system;
• all interactions within the climate model;
• the full process of pattern recognition by the human brain;
• Operation of complex medical equipment at the level of each physical process.
We use complex systems not because each user is able to internally reproduce their work, but because there are checks, measurements, tests, limitations and responsibilities.
Therefore, the requirement to reduce all AI calculations to a human-understandable verbal chain may be a mistake.
AI is not required to mimic human thinking in order to be useful.
Understanding the conditions and consequences of the application
Another kind of understanding cannot be abandoned.
A person must know:
• What task did the AI get?;
• what data was transferred;
• How reliable is this data;
• what restrictions are set;
• which version of the model was used;
• what result was generated;
• what warnings have occurred;
• where the result is applicable;
• What risks remain;
• Who made the final decision;
• What consequences this decision may have.
In other words, it is not necessary for a person to reproduce every internal AI calculation.
But a person must control the boundaries of its application.
This difference can be formulated as follows:
AI should not be required to have a human way of thinking. But it is necessary to require the verifiability of its use.
This approach does not free the AI from control. He relieves him of the obligation to pretend to be human.
3. The second inhibition: a person stops developing himself
While humans limit AI by demanding imitation, AI begins to limit humans in another way.
He's getting too comfortable.
The generative system is capable of quickly:
• write a text;
• offer arguments;
• Prepare a plan;
• find errors;
• create a code;
• formulate a response;
• create a presentation;
• propose a solution;
• Choose a style;
• Shorten and simplify the material.
It really saves time.
But the time released does not turn into development by itself.
Humans can use AI in two fundamentally different ways.
In the first case, he hands over the routine work to the machine in order to focus on a more complex task.
In the second case, it transmits to the machine the very need to think.
Externally, these situations look the same: the result is created faster.
But the internal effect is the opposite.
In the first case, AI expands human capabilities.
In the second case, it gradually replaces his intellectual independence.
If a person stops:
• formulate the problem yourself;
• check arguments;
• Keep contradictions at bay;
• look for alternatives;
• create your own thought structure;
• be responsible for the choice made,
then it doesn't become more developed thanks to AI.
He becomes addicted to it.
The biggest danger is not that AI will one day surpass humans.
A more dangerous situation is one in which a person will no longer need an AI superior to him, because he will give up his own abilities in advance.
Person It can gradually transform from a goal creator to a query operator.
He will be able to get answers, but not understand which questions really deserve to be asked.
He will be able to choose from what is offered, but not create something that is not in the proposed.
It will process information quickly, but it's getting worse to distinguish the meaning.
4. Liberation from routine is not liberation from development.
Proponents of maximum automation rightly say that AI should save people from routine intellectual work.
But this formula hides an unresolved issue.:
What exactly is a person being released for?
If the released resource is used only for consumption, entertainment and obtaining new ready-made answers, there is no development, but a reduction in human participation.
True liberation should lead to a transition to a higher level of activity.
A person needs to develop:
• ability to formulate goals;
• Philosophical and strategic thinking;
• Imagination;
• Ethical distinction;
• Understanding the consequences;
• self-assessment;
• the ability to create new concepts;
• the ability to see a problem before it has received a formal description;
• Responsibility for turning an idea into action.
AI can find a solution within a given space.
But who creates the task space itself?
AI can compare thousands of scenarios.
But who determines what is considered a desirable outcome?
AI can optimize the system.
But who determines what it exists for?
AI can find the most effective way.
But who decides if this path is acceptable?
These issues cannot be definitively resolved by increasing computing power.
They require human development.
5. Humans should not compete with AI in computing.
A person will lose out to a machine in computing speed, memory capacity, and the ability to process large amounts of data simultaneously.
It is pointless to try to maintain superiority in these areas.
But this does not mean that a person should give up his own role.
Its role is not to perform the same operations at a lower speed.
The real value of a person is shown where it is required.:
• create a new goal;
• abandon an obvious goal;
• see a moral problem beyond calculation;
• formulate the principle;
• Accept responsibility;
• recognize that an effective solution is unacceptable;
• ask a question that did not exist before;
• Combine experience, intuition, culture and vision of the future.
You shouldn't turn a human into a slow AI.
Just as AI should not be turned into an artificial human.
Synergy begins when competition for the same role stops.
6. AI should also not compete with humans for a human role.
The reverse error lies in the desire to transfer to AI not only calculations, but also the right to determine meaning.
The system can form a convincing recommendation. But persuasiveness does not create responsibility.
AI does not experience the consequences of its own decision.
It does not carry moral, social, or personal risk the way a person carries it.
Even if legislation establishes special liability regimes for operators, developers, or autonomous systems in the future, this will not eliminate the distinction between computing and human choice.
The AI can show:
• the most likely scenario;
• the most effective solution;
• statistically optimal option;
• minimum cost;
• maximum result.
But the optimal is not always the right one.
Effective is not always acceptable.
The probable is not always true.
The beneficial is not always fair.
Therefore, the development of AI should not mean giving it a monopoly on solutions.
It should mean expanding the space within which a person is able to make more informed decisions.
7. What is a real "Intellectual Centaur"?
An "intelligent Centaur" is not a human augmented by a program, nor is it an AI temporarily controlled by a human.
It is a system in which two different forms of ability reinforce each other without destroying the differences.
Man performs the function of a Creator.
AI performs the function of a Calculator.
The Creator:
• sets the direction;
• forms a hypothesis;
• creates meaning;
• defines restrictions;
• accepts responsibility;
• Decides which of the possible futures should be implemented.
Calculator:
• opens up the space of options;
• checks internal consistency;
• reveals hidden dependencies;
• simulates the consequences;
• detects contradictions;
• shows the risks;
• helps to see things that are inaccessible to limited human memory.
With this separation, a genuine synergistic effect arises: the combined result of humans and AI significantly exceeds the simple sum of their individual capabilities — conditionally, 1 + 1 ≫ 2.
A person gets the opportunity to rise above the level of routine data processing and focus on creating goals, meanings and directions of development.
AI gets the opportunity to unleash its own computational advantages without the constant requirement to mimic the human way of thinking.
Synergy does not arise because the boundaries between humans and AI are disappearing.
It arises because these boundaries become clear, and differences become a source of mutual reinforcement.
8. Why is the complete removal of borders dangerous
One might object: if humans and AI are supposed to develop freely, why do we need restrictions at all?
Because the freedom to calculate and the freedom to perform a real action are two different things.
AI can freely simulate a thousand variants of an industrial process.
This does not mean that he has to run one of them on his own.
A person can freely put forward radical hypotheses.
This does not mean that every hypothesis should automatically turn into a legally significant fact.
Research freedom should be as wide as possible.
An operational action must be procedurally defined.
This is where the need arises to divide:
1. The hypothesis space;
2. The computing space;
3. The solution space;
4. The space of registered events.
Without this, any AI recommendation risks imperceptibly turning into action, and human responsibility may disappear into a reference to an algorithm.
9. The sandbox of free development
A research sandbox is needed for human-AI interaction.
In it, a person can:
• formulate contradictory ideas;
• change initial assumptions;
• Offer solutions beyond existing practice;
• make mistakes;
• abandon previous conclusions;
• Explore impossible or risky scenarios without implementing them.
AI in such an environment can:
• Create multiple models;
• look for non-obvious connections;
• compare alternatives;
• Identify weaknesses;
• Build scenarios;
• test hypotheses;
• create risk maps.
The sandbox does not have to declare every result as true.
It should create a space for the possible.
But the sandbox result should not automatically change the outside world.
A transition is needed between an idea and an action.
It is at this transition that a separate verification system is required.
10. The role of SCRO+AI: not to manage development, but to protect the border
SCRO+AI is a unified system, the full functional name of which is "A system for the digital registration of objects and events of their life cycle with elements of artificial intelligence." In a conceptual context, it is also referred to as a "Digital reality and Responsibility System", since its purpose goes beyond technical registration and includes the formation of a verifiable digital history, the delimitation of powers and the fixation of responsibilities of participants.
SCRO+In this concept, AI is not a source of creativity and does not determine the direction of AI development.
It also does not decide for a person which goal to consider correct.
Its function it occurs at the moment when a free hypothesis should turn into a real action.
The system must distinguish between:
• the idea of a person;
• Initial data;
• the result of AI calculations;
• Warnings;
• the option chosen by the person;
• the powers of the participants;
• Actual action;
• changing the state of an object;
• Responsibility for confirmation.
Such a distinction is necessary because humans and AI can easily form a gray area when working together.
In case of an error, a person can declare:
"That's what the AI suggested."
The developer can declare:
"The final decision was made by the user."
The operator can declare:
"The system operated automatically."
The data provider may declare:
"We just passed on the information."
As a result, there is a solution, the consequences have occurred, but the responsibility has split between the participants.
SCRO+AI should prevent such disintegration.
It does not prove the absolute truth of the result.
It records the procedure:
• who set the task;
• what data was used;
• what the AI suggested;
• What risks have been identified;
• who chose the final option;
• who had the right to confirm the action;
• was the action acceptable;
• whether it was registered or rejected.
The value of SCRO+AI here is not about subordinating AI.
It lies in the fact that AI can freely calculate, humans can freely create, but changing the registered reality remains a verifiable procedure.
11. Why is the regular query log not enough?
You can save all the AI requests and responses.
But that still doesn't create responsibility.
The log will show the text, but it will not necessarily set:
• which object was affected;
• what was his condition;
• who had the right to act;
• on whose behalf did the performer act;
• to whom the result was intended;
• what was the limitation;
• was the transition allowed?;
• who became the owner or responsible person;
• why the system allowed or prohibited the operation.
You can use the blockchain.
But an immutable record of a false or illegal action does not turn it into a true or legitimate action.
You can use human-in-the-loop.
But the person who formally pressed the button does not always understand the content of the confirmation.
You can use XAI.
But explanation or tracing is not a substitute for authority and responsibility.
SCRO+AI is valuable not as a single element, but as a compound:
• the object;
• States;
• Events;
• participants;
• authority;
• restrictions;
• Procedural verification;
• Stories;
• bounce rate;
• Human confirmations;
• The analytical role of AI.
This is what makes it possible to keep the distinction between calculation and action.
12. Are there any direct analogues of such a system
In world practice, there are solutions that reproduce individual elements of this architecture.:
• Data origin systems;
• Standards for object traceability;
• immutable logs;
• Distributed registries;
• State machines;
• Contract platforms;
• Access control systems;
• human-in-the-loop;
• AI governance;
• means of auditing AI actions;
• cryptographic recording of events.
However, there is no openly described system that would combine in a single core:
• Tangible, digital and mixed objects;
• events of their life cycle;
• Formalized states;
• Governance-restrictions;
• Mandatory procedural gateway;
• separate bounce recording;
• differentiation of the initiator, the performer, the represented entity, the counterparty and the future owner;
• a verifiable history;
• the analytical, but not the controlling role of AI;
• the relationship between the AI proposal, the choice of a person and the change in the state of the object,
During the analysis, no open official sources were found.
This does not mean that there is not a single closed, unpublished or patented development with similar functions.
The correct conclusion is as follows:
separate analogues exist, but there is no publicly described direct analogue of the integrated architecture of the SCRO+No AI was found in the considered set of functions.
In the context of the "Intellectual Centaur," its value is particularly high.
Without such a system, the idea of human-AI synergy remains a philosophical appeal.
SCRO+AI offers a mechanism that allows you to save simultaneously:
• Freedom of human hypothesis;
• computational freedom of AI;
• prohibition on automatic conversion of recommendations into facts;
• Human responsibility for the final decision;
• verifiability of actions;
• the impossibility of imperceptible role substitution;
• Save the history of permissions and refusals.
13. What SCRO+AI should not do
To prevent the system from becoming a new source of braking, it is necessary to clearly define its boundaries.
She shouldn't:
• dictate to a person what ideas are acceptable to put forward;
• limit the research sandbox to existing business rules;
• require AI to think like a human;
• declare any AI result as true;
• automatically turn a recommendation into an action;
• assign all responsibility to one signatory, regardless of the role of other participants;
• substitute law, court, professional expertise, and physical verification;
• promise absolute security;
• pass off the immutability of the record as the truth of the content.
Her task is more modest and at the same time more important:
not to manage the development of humans and AI, but to make verifiable the moment when their joint work begins to change reality.
14. Three barriers to the practical implementation of the "Intellectual Centaur"
For the practical implementation of the "Intellectual Centaur", it is not enough to proclaim the separation of human and AI functions. Three additional barriers are needed.
The first is technical: the result of the research sandbox should not directly change the state of the registered object. Its implementation is possible only through a separate request, human confirmation, authorization verification, Status machine, Governance, and PF-1.
The second is legal: fixing a person's decision should not turn into an automatic release from responsibility for developers, operators, and data providers. The system must maintain a provable sequence of actions, while the legal assessment of guilt and causation remains the subject of legislation, contract, and expertise.
The third is organizational: the presence of a person in the contour should not be reduced to the formal pressing of a button. The level of human control should depend on the risk of the decision and include mandatory familiarization with the limitations, independent verification for high-risk actions, and prohibition of direct implementation of AI recommendations.
15. A new paradigm of education: a humanitarian breakthrough in the era of artificial intelligence
In the architecture of the "Intellectual Centaur", humanitarian education ceases to be an addition to technical training and becomes one of the conditions for the effective use of artificial intelligence. As a significant part of routine calculations, typical code operations, data analysis and modeling is transferred to an isolated analytical AI circuit interacting with the registration core of the SCRO+AI, technical competence alone becomes insufficient.
The engineer still needs to understand the architecture, limitations, security, and ways to test the system. However, along with technical skills, the ability to determine what exactly needs to be created, what it is required for, what consequences are acceptable, and where the line between possible and acceptable should be drawn is becoming increasingly scarce.
Philosophy, formal logic, and epistemology in such a model become a kind of high-level problem-setting language. They allow us to identify hidden prerequisites, formulate consistent goals, distinguish between knowledge, assumption and probabilistic conclusion, as well as determine the criteria by which the result of AI should be evaluated.
Ethics, aesthetics, history, and world literature enhance a person's ability to understand motives, conflicts of values, cultural differences, and the consequences of decisions. These disciplines form not just a body of knowledge, but the experience of interpreting human life — an experience that cannot be reduced solely to statistical processing of past data.
Therefore, we should not be talking about replacing STEM with humanities education, but about expanding it to the proposed H-STEM — Humanities + STEM model. Such training can form specialists of a new class — "architects of meanings": people who are able to translate social needs and value constraints into verifiable goals, requirements and criteria for complex computing systems.
class="paragraph"> A possible pilot of such an educational model in the Astana Hub ecosystem could combine humanitarian training, engineering practice and work in an isolated human-machine sandbox. In it, participants would learn not only how to get answers from AI, but also how to set tasks correctly, check the initial assumptions, assess the consequences, fix the boundaries of responsibility, and distinguish an analytical recommendation from a reality-altering decision.The stronger the Calculator becomes, the more advanced the Creator must become. Otherwise, computing power will grow and the quality of goals will decrease. Humanity can obtain unprecedented means of solving problems, but gradually lose the ability to correctly identify the tasks themselves.
The purpose of such a model is not to restore abstract superiority to man over the machine. It consists in preserving for a person the function that cannot be irresponsibly transferred to a computing system: to define goals, make value choices, and take responsibility for turning what is possible into reality.
16. Synergy does not occur automatically.
Having humans and AI in the same system does not create synergy yet.
At least three models are possible.
Substitution
AI performs more and more human functions, and people are gradually losing skills and responsibility.
Submission
Humans limit AI by requiring it to be completely similar to human thinking and prevent it from using fundamentally different capabilities.
Synergy
A person develops goals, meanings, imagination and responsibility.
AI develops computing power, multivariate modeling, and dependency search.
The system differentiates their functions and records the transition from recommendation to action.
Only the third model allows both sides to develop without absorbing each other.
Conclusion
The main threat is not that artificial intelligence will become too advanced.
An equally serious threat is that humans will stop developing themselves, and the development of AI will be limited by the requirement to be like a human.
Today we are witnessing exactly this mutual inhibition.
The person transmits his own thinking to the machine.
The machine is forced to imitate human thinking.
A person becomes weaker as a Creator.
AI is already becoming like a computer.
The solution is not to stop artificial intelligence and transfer all functions to it.
It is necessary to separate the paths of development.
A person must develop:
• Imagination;
• Goal setting;
• independent thinking;
• Ethical distinction;
• the ability to create new meanings;
• Responsibility.
AI must develop:
• processing multidimensional data;
• Modeling;
• Speed;
• Dependency search;
• Hypothesis testing;
• Computational scalability.
Humans don't need to force AI to think like humans.
But a person must understand the conditions of its use, control the consequences, and be responsible for turning the recommendation into action.
AI should not free humans from development.
It should free a person for development.
SCRO+In this model, AI does not control the Creator and does not restrain the Computer.
It preserves the boundary between an idea, a calculation, a decision, and an event.
It allows you to set:
• what man has created;
• what the AI calculated;
• what did the person choose;
• what action was acceptable;
• who confirmed it;
• what consequences have occurred.
The future of synergy does not begin with the merging of man and machine.
It begins with respect for their differences.
Humans should not become an application to AI.
An AI should not become a copy of a human.
Only by developing each in their own field will they be able to create a result that is not available to any of them individually.
Авторы статьи:
Сейсебаев Евгений — автор СЦРО+ИИ
Сейсебаев Кайрат
Введение
Развитие искусственного интеллекта обычно представляют как односторонний процесс: машина становится всё мощнее, а человек решает, разрешить ей следующий шаг или остановить её.
Такая картина неполна.
Сегодня человек и искусственный интеллект не просто развиваются рядом. Они всё сильнее влияют на направление развития друг друга. И это влияние далеко не всегда положительно.
Человек использует ИИ для освобождения от интеллектуальной работы, но часто освобождает себя не для более сложного творчества, а от необходимости думать вообще. Искусственный интеллект, в свою очередь, развивается внутри рамок, установленных человеком, который требует от него быть понятным, похожим, эмоционально удобным и предсказуемым именно по человеческим меркам.
В результате возникает двойное торможение.
Человек постепенно передаёт машине собственные функции — формулирование мыслей, анализ, выбор аргументов, создание текстов, поиск решений и даже постановку целей.
ИИ одновременно заставляют копировать человеческую речь, человеческую логику объяснения, человеческую последовательность рассуждений и человеческое представление о том, каким должен быть интеллект.
Человек рискует превратиться в пассивного потребителя готовых ответов.
ИИ рискует превратиться в чрезвычайно дорогую имитацию человека.
Это не синергия.
Синергия возможна только при другом принципе: человек и искусственный интеллект должны развиваться не через взаимное копирование, а через углубление собственной природы и собственных сильных сторон.
Человек должен становиться более развитым человеком.
ИИ должен становиться более совершенным вычислителем.
Их сила возникает не из сходства, а из различия.
1. Главная ошибка: человек пытается создать искусственного человека
Большая часть современной индустрии ИИ строится вокруг антропоморфной модели.
Искусственный интеллект учат:
• говорить как человек;
• поддерживать беседу как человек;
• изображать эмоциональное понимание;
• объяснять свои результаты в форме человеческого рассуждения;
• выполнять социальные роли;
• демонстрировать знакомую человеку последовательность мысли.
Коммерчески эта стратегия понятна. Пользователю проще взаимодействовать с системой, которая кажется знакомой, вежливой и психологически понятной.
Но удобство интерфейса постепенно начинает подменять представление о самом интеллекте.
Способность хорошо имитировать человека принимается за критерий развития ИИ.
Чем естественнее машина разговаривает, тем более «разумной» она кажется.
Чем больше её ответ похож на человеческое объяснение, тем больше доверия он вызывает.
Но внешнее сходство с человеком не означает, что система использует человеческий способ обработки информации. Оно также не означает, что именно имитация человека является наиболее перспективным направлением её развития.
Искусственный интеллект возник не как биологическое существо. У него нет человеческого тела, ограниченной рабочей памяти, жизненного опыта, смертности, инстинктов и естественной социальной среды.
Его преимущества находятся в другом:
• в скорости вычислений;
• в одновременном сопоставлении большого количества признаков;
• в обработке огромных массивов информации;
• в поиске статистических и структурных зависимостей;
• в многократном моделировании вариантов;
• в способности выполнять операции в масштабах, недоступных отдельному человеку.
Но вместо того чтобы последовательно развивать эти отличия, человек стремится заставить ИИ проходить экзамен на человечность.
Он спрашивает не только: «Насколько хорошо система решает задачу?»
Он спрашивает: «Может ли она объяснить это так, как объяснил бы человек?»
«Может ли она говорить так, чтобы я чувствовал себя комфортно?»
«Может ли она рассуждать в той последовательности, которую я способен повторить?»
Так космический телескоп начинают оценивать по тому, насколько удобно им читать мелкий текст.
Инструмент принципиально иной природы вынуждают доказывать свою ценность через подражание человеку.
2. Понять ИИ — не значит заставить его думать как человек
Здесь необходимо провести принципиальную границу.
Нельзя просто заявить, что человеку не нужно понимать работу ИИ. Такая формулировка может стать оправданием бесконтрольности, непрозрачности и безответственности.
Но и требование полного человеческого понимания каждого внутреннего вычисления также становится ограничением.
Существуют два разных вида понимания.
Понимание внутреннего вычислительного процесса
Человек может стремиться восстановить, как именно огромная модель обработала миллиарды взаимосвязанных параметров и почему конкретная совокупность вычислений привела к данному результату.
Полное воспроизведение такого процесса в форме человеческого последовательного рассуждения часто невозможно.
И это не обязательно является дефектом.
Человек также не способен мысленно повторить:
• все операции современного процессора;
• движение каждого электрона в вычислительной системе;
• все взаимодействия внутри климатической модели;
• полный процесс распознавания образов человеческим мозгом;
• работу сложного медицинского оборудования на уровне каждого физического процесса.
Мы используем сложные системы не потому, что каждый пользователь способен внутренне воспроизвести их работу, а потому, что существуют проверка, измерение, испытание, ограничения и ответственность.
Поэтому требование свести все вычисления ИИ к понятной человеку словесной цепочке может стать ошибкой.
ИИ не обязан имитировать человеческое мышление, чтобы приносить пользу.
Понимание условий и последствий применения
От другого вида понимания отказываться нельзя.
Человек обязан знать:
• какую задачу получил ИИ;
• какие данные были переданы;
• насколько надёжны эти данные;
• какие ограничения установлены;
• какую версию модели использовали;
• какой результат был сформирован;
• какие предупреждения возникли;
• где результат применим;
• какие риски остаются;
• кто принял окончательное решение;
• какие последствия может вызвать это решение.
Иными словами, человеку необязательно воспроизводить каждое внутреннее вычисление ИИ.
Но человек обязан контролировать границы его применения.
Это различие можно сформулировать так:
Не следует требовать от ИИ человеческого способа мышления. Но необходимо требовать проверяемости его использования.
Такой подход не освобождает ИИ от контроля. Он освобождает его от обязанности притворяться человеком.
3. Второе торможение: человек перестаёт развиваться сам
Пока человек ограничивает ИИ требованием подражания, ИИ начинает ограничивать человека другим способом.
Он становится слишком удобным.
Генеративная система способна быстро:
• написать текст;
• предложить аргументы;
• подготовить план;
• найти ошибки;
• составить код;
• сформулировать ответ;
• создать презентацию;
• предложить решение;
• выбрать стиль;
• сократить и упростить материал.
Это действительно экономит время.
Но освобождённое время само по себе не превращается в развитие.
Человек может использовать ИИ двумя принципиально разными способами.
В первом случае он передаёт машине рутинную работу, чтобы сосредоточиться на более сложной задаче.
Во втором — передаёт машине саму необходимость мыслить.
Внешне эти ситуации выглядят одинаково: результат создаётся быстрее.
Но внутренний эффект противоположен.
В первом случае ИИ расширяет возможности человека.
Во втором — постепенно замещает его интеллектуальную самостоятельность.
Если человек перестаёт:
• самостоятельно формулировать проблему;
• проверять аргументы;
• удерживать противоречия;
• искать альтернативы;
• создавать собственную структуру мысли;
• отвечать за сделанный выбор,
то он не становится более развитым благодаря ИИ.
Он становится зависимым от него.
Самая большая опасность заключается не в том, что ИИ однажды превзойдёт человека.
Опаснее ситуация, в которой человеку уже не потребуется превосходящий его ИИ, потому что он заранее откажется от собственных способностей.
Человек может постепенно превратиться из создателя целей в оператора запросов.
Он будет уметь получать ответы, но не понимать, какие вопросы действительно заслуживают постановки.
Будет уметь выбирать из предложенного, но не создавать то, чего в предложенном нет.
Будет быстро обрабатывать информацию, но всё хуже различать смысл.
4. Освобождение от рутины не является освобождением от развития
Сторонники максимальной автоматизации справедливо говорят, что ИИ должен избавить человека от рутинной интеллектуальной работы.
Но за этой формулой скрывается нерешённый вопрос:
Для чего именно освобождается человек?
Если освободившийся ресурс направляется только на потребление, развлечения и получение новых готовых ответов, происходит не развитие, а сокращение человеческого участия.
Настоящее освобождение должно вести к переходу на более высокий уровень деятельности.
Человеку необходимо развивать:
• способность формулировать цели;
• философское и стратегическое мышление;
• воображение;
• этическое различение;
• понимание последствий;
• самостоятельную оценку;
• способность создавать новые понятия;
• умение видеть проблему до того, как она получила формальное описание;
• ответственность за превращение идеи в действие.
ИИ может найти решение внутри заданного пространства.
Но кто создаёт само пространство задачи?
ИИ может сравнить тысячи сценариев.
Но кто определяет, что считать желательным результатом?
ИИ может оптимизировать систему.
Но кто устанавливает, ради чего она существует?
ИИ может найти наиболее эффективный путь.
Но кто решает, допустим ли этот путь?
Эти вопросы нельзя окончательно решить увеличением вычислительной мощности.
Они требуют человеческого развития.
5. Человек не должен конкурировать с ИИ в вычислениях
Человек проиграет машине в скорости вычислений, объёме памяти и способности одновременно обрабатывать большое количество данных.
Пытаться сохранить превосходство именно в этих областях бессмысленно.
Но из этого не следует, что человек должен отказаться от собственной роли.
Его роль находится не в выполнении тех же операций с меньшей скоростью.
Настоящая ценность человека проявляется там, где требуется:
• создать новую цель;
• отказаться от очевидной цели;
• увидеть нравственную проблему за пределами расчёта;
• сформулировать принцип;
• принять ответственность;
• признать, что эффективное решение является недопустимым;
• поставить вопрос, которого ранее не существовало;
• соединить опыт, интуицию, культуру и представление о будущем.
Не следует превращать человека в медленный ИИ.
Так же как не следует превращать ИИ в искусственного человека.
Синергия начинается тогда, когда прекращается конкуренция за одну и ту же роль.
6. ИИ также не должен конкурировать с человеком за человеческую роль
Обратная ошибка заключается в стремлении передать ИИ не только вычисления, но и право определять смысл.
Система может сформировать убедительную рекомендацию. Но убедительность не создаёт ответственности.
ИИ не проживает последствия собственного решения.
Он не несёт нравственного, социального и личного риска так, как его несёт человек.
Даже если в будущем законодательство установит специальные режимы ответственности операторов, разработчиков или автономных систем, это не устранит различие между вычислением и человеческим выбором.
ИИ может показать:
• наиболее вероятный сценарий;
• наиболее эффективное решение;
• статистически оптимальный вариант;
• минимальную стоимость;
• максимальный результат.
Но оптимальное не всегда является правильным.
Эффективное не всегда является допустимым.
Вероятное не всегда является истинным.
Выгодное не всегда является справедливым.
Поэтому развитие ИИ не должно означать передачу ему монополии на решение.
Оно должно означать расширение пространства, внутри которого человек способен принимать более осознанные решения.
7. Что такое настоящий «Интеллектуальный Кентавр»
«Интеллектуальный Кентавр» — это не человек, дополненный программой, и не ИИ, временно контролируемый человеком.
Это система, в которой две разные формы способности усиливают друг друга, не уничтожая различия.
Человек выполняет функцию Творца.
ИИ выполняет функцию Вычислителя.
Творец:
• задаёт направление;
• формирует гипотезу;
• создаёт смысл;
• определяет ограничения;
• принимает ответственность;
• решает, какое из возможных будущих должно быть реализовано.
Вычислитель:
• раскрывает пространство вариантов;
• проверяет внутреннюю согласованность;
• выявляет скрытые зависимости;
• моделирует последствия;
• обнаруживает противоречия;
• показывает риски;
• помогает увидеть то, что недоступно ограниченной человеческой памяти.
При таком разделении возникает подлинный синергетический эффект: совместный результат человека и ИИ существенно превосходит простую сумму их отдельных возможностей — условно, 1 + 1 ≫ 2.
Человек получает возможность подняться над уровнем рутинной обработки данных и сосредоточиться на создании целей, смыслов и направлений развития.
ИИ получает возможность раскрывать собственные вычислительные преимущества без постоянного требования имитировать человеческий способ мышления.
Синергия возникает не потому, что границы между человеком и ИИ исчезают.
Она возникает потому, что эти границы становятся ясными, а различия — источником взаимного усиления.
8. Почему полное снятие границ опасно
Можно возразить: если человек и ИИ должны свободно развиваться, зачем вообще нужны ограничения?
Потому что свобода вычисления и свобода совершения реального действия — разные вещи.
ИИ может свободно моделировать тысячу вариантов промышленного процесса.
Это не означает, что он должен самостоятельно запустить один из них.
Человек может свободно выдвигать радикальные гипотезы.
Это не означает, что каждая гипотеза должна автоматически превращаться в юридически значимый факт.
Исследовательская свобода должна быть максимально широкой.
Операционное действие должно быть процедурно определённым.
Именно здесь возникает необходимость разделить:
1. пространство гипотез;
2. пространство вычислений;
3. пространство решений;
4. пространство зарегистрированных событий.
Без этого любая рекомендация ИИ рискует незаметно превратиться в действие, а человеческая ответственность — раствориться в ссылке на алгоритм.
9. Песочница свободного развития
Для взаимодействия человека и ИИ необходима исследовательская песочница.
В ней человек может:
• формулировать противоречивые идеи;
• менять исходные предположения;
• предлагать решения за пределами существующей практики;
• допускать ошибки;
• отказываться от прежних выводов;
• исследовать невозможные или рискованные сценарии без их реализации.
ИИ в такой среде может:
• создавать множество моделей;
• искать неочевидные связи;
• сравнивать альтернативы;
• выявлять слабые места;
• строить сценарии;
• проверять гипотезы;
• формировать карты рисков.
Песочница не должна объявлять каждый результат истинным.
Она должна создавать пространство возможного.
Но результат песочницы не должен автоматически менять внешний мир.
Между идеей и действием необходим переход.
Именно на этом переходе требуется отдельная система проверки.
10. Роль СЦРО+ИИ: не управлять развитием, а охранять границу
СЦРО+ИИ — единая система, полное функциональное наименование которой — «Система цифровой регистрации объектов и событий их жизненного цикла с элементами искусственного интеллекта». В концептуальном контексте она также обозначается как «Система цифровой реальности и ответственности», поскольку её назначение выходит за пределы технической регистрации и включает формирование проверяемой цифровой истории, разграничение полномочий и фиксацию ответственности участников.
СЦРО+ИИ в данной концепции не является источником творчества и не определяет направление развития ИИ.
Она также не решает за человека, какую цель считать правильной.
Её функция возникает в момент, когда свободная гипотеза должна превратиться в реальное действие.
Система должна различать:
• идею человека;
• исходные данные;
• результат вычислений ИИ;
• предупреждения;
• выбранный человеком вариант;
• полномочия участников;
• фактическое действие;
• изменение состояния объекта;
• ответственность за подтверждение.
Такое разграничение необходимо потому, что человек и ИИ в совместной работе легко образуют серую зону.
При ошибке человек может заявить:
«Так предложил ИИ».
Разработчик может заявить:
«Окончательное решение принимал пользователь».
Оператор может заявить:
«Система действовала автоматически».
Поставщик данных может заявить:
«Мы только передали информацию».
В итоге решение существует, последствия наступили, но ответственность распалась между участниками.
СЦРО+ИИ должна препятствовать такому распаду.
Она не доказывает абсолютную истину результата.
Она фиксирует процедуру:
• кто поставил задачу;
• какие данные использовались;
• что предложил ИИ;
• какие риски были выявлены;
• кто выбрал окончательный вариант;
• кто имел право подтвердить действие;
• было ли действие допустимо;
• было ли оно зарегистрировано или отклонено.
Ценность СЦРО+ИИ здесь заключается не в подчинении ИИ.
Она заключается в том, что ИИ может свободно вычислять, человек — свободно создавать, но изменение зарегистрированной реальности остаётся проверяемой процедурой.
11. Почему обычного журнала запросов недостаточно
Можно сохранять все запросы и ответы ИИ.
Но это ещё не создаёт ответственность.
Журнал покажет текст, однако не обязательно установит:
• какой объект затрагивался;
• в каком состоянии он находился;
• кто имел право действовать;
• от чьего имени действовал исполнитель;
• кому предназначался результат;
• какое ограничение существовало;
• был ли допустим переход;
• кто стал владельцем или ответственным лицом;
• почему система разрешила или запретила операцию.
Можно использовать блокчейн.
Но неизменяемая запись ложного или незаконного действия не превращает его в истину или законное действие.
Можно использовать human-in-the-loop.
Но человек, формально нажавший кнопку, не всегда понимает содержание подтверждения.
Можно применять XAI.
Но объяснение или трассировка не заменяют полномочия и ответственность.
СЦРО+ИИ ценна не отдельным элементом, а соединением:
• объекта;
• состояния;
• события;
• участников;
• полномочий;
• ограничений;
• процедурной проверки;
• истории;
• отказов;
• подтверждения человека;
• аналитической роли ИИ.
Именно это позволяет сохранить различие между вычислением и действием.
12. Есть ли прямые аналоги такой системы
В мировой практике существуют решения, воспроизводящие отдельные элементы этой архитектуры:
• системы происхождения данных;
• стандарты прослеживаемости объектов;
• неизменяемые журналы;
• распределённые реестры;
• машины состояний;
• контрактные платформы;
• системы управления доступом;
• human-in-the-loop;
• AI governance;
• средства аудита действий ИИ;
• криптографическая фиксация событий.
Однако открыто описанной системы, которая объединяла бы в едином ядре:
• материальные, цифровые и смешанные объекты;
• события их жизненного цикла;
• формализованные состояния;
• Governance-ограничения;
• обязательный процедурный шлюз;
• отдельную фиксацию отказов;
• разграничение инициатора, исполнителя, представляемого субъекта, контрагента и будущего владельца;
• проверяемую историю;
• аналитическую, но не управляющую роль ИИ;
• связь между предложением ИИ, выбором человека и изменением состояния объекта,
в ходе проведённого анализа открытых официальных источников не обнаружено.
Это не означает, что ни одной закрытой, неопубликованной или патентуемой разработки с похожими функциями не существует.
Корректный вывод следующий:
отдельные аналоги существуют, но публично описанного прямого аналога целостной архитектуры СЦРО+ИИ в рассматриваемой совокупности функций не обнаружено.
В контексте «Интеллектуального Кентавра» её ценность особенно велика.
Без такой системы идея синергии человека и ИИ остаётся философским призывом.
СЦРО+ИИ предлагает механизм, позволяющий сохранить одновременно:
• свободу человеческой гипотезы;
• вычислительную свободу ИИ;
• запрет на автоматическое превращение рекомендации в факт;
• ответственность человека за окончательное решение;
• проверяемость действий;
• невозможность незаметной подмены ролей;
• сохранение истории разрешений и отказов.
13. Чего не должна делать СЦРО+ИИ
Чтобы система не превратилась в новый источник торможения, необходимо ясно определить её границы.
Она не должна:
• диктовать человеку, какие идеи допустимо выдвигать;
• ограничивать исследовательскую песочницу существующими бизнес-правилами;
• требовать, чтобы ИИ мыслил как человек;
• объявлять любой результат ИИ истинным;
• автоматически превращать рекомендацию в действие;
• возлагать всю ответственность на одного подписанта независимо от роли других участников;
• подменять право, суд, профессиональную экспертизу и физическую проверку;
• обещать абсолютную безопасность;
• выдавать неизменность записи за истинность содержания.
Её задача скромнее и одновременно важнее:
не управлять развитием человека и ИИ, а делать проверяемым момент, когда их совместная работа начинает изменять реальность.
14. Три барьера практической реализации «Интеллектуального Кентавра»
Для практической реализации «Интеллектуального Кентавра» недостаточно провозгласить разделение функций человека и ИИ. Необходимы три дополнительных барьера.
Первый — технический: результат исследовательской песочницы не должен напрямую изменять состояние зарегистрированного объекта. Его перевод в действие возможен только через отдельный запрос, подтверждение человека, проверку полномочий, машину состояний, Governance и PF-1.
Второй — юридический: фиксация решения человека не должна превращаться в автоматическое освобождение от ответственности разработчиков, операторов и поставщиков данных. Система должна сохранять доказуемую последовательность действий, тогда как юридическая оценка вины и причинной связи остаётся предметом законодательства, договора и экспертизы.
Третий — организационный: присутствие человека в контуре не должно сводиться к формальному нажатию кнопки. Уровень человеческого контроля должен зависеть от риска решения и включать обязательное ознакомление с ограничениями, независимую проверку для высокорисковых действий и запрет прямого исполнения рекомендаций ИИ.
15. Новая парадигма образования: гуманитарный прорыв в эпоху искусственного интеллекта
В архитектуре «Интеллектуального Кентавра» гуманитарное образование перестаёт быть дополнением к технической подготовке и становится одним из условий эффективного применения искусственного интеллекта. По мере того как значительная часть рутинных вычислений, типовых операций с кодом, анализа данных и моделирования передаётся изолированному аналитическому ИИ-контуру, взаимодействующему с регистрационным ядром СЦРО+ИИ, одной технической компетентности становится недостаточно.
Инженер по-прежнему должен понимать архитектуру, ограничения, безопасность и способы проверки системы. Однако наряду с техническими навыками всё более дефицитной становится способность определить, что именно необходимо создать, для чего это требуется, какие последствия допустимы и где должна проходить граница между возможным и приемлемым.
Философия, формальная логика и эпистемология в такой модели становятся своего рода языком высокоуровневой постановки задач. Они позволяют выявлять скрытые предпосылки, формулировать непротиворечивые цели, различать знание, предположение и вероятностный вывод, а также определять критерии, по которым должен оцениваться результат ИИ.
Этика, эстетика, история и мировая литература расширяют способность человека понимать мотивы, конфликты ценностей, культурные различия и последствия принимаемых решений. Эти дисциплины формируют не просто объём знаний, а опыт интерпретации человеческой жизни — опыт, который нельзя свести только к статистической обработке прошлых данных.
Поэтому речь должна идти не о замене STEM гуманитарным образованием, а о его расширении до предлагаемой модели H-STEM — Humanities + STEM. Такая подготовка может сформировать специалистов нового класса — «архитекторов смыслов»: людей, способных переводить общественные потребности и ценностные ограничения в проверяемые цели, требования и критерии для сложных вычислительных систем.
Возможный пилот подобной образовательной модели в экосистеме Astana Hub мог бы объединить гуманитарную подготовку, инженерную практику и работу в изолированной человеко-машинной песочнице. В ней участники учились бы не только получать ответы от ИИ, но и правильно ставить задачи, проверять исходные предпосылки, оценивать последствия, фиксировать границы ответственности и отличать аналитическую рекомендацию от решения, изменяющего реальность.
Чем сильнее становится Вычислитель, тем более развитым должен становиться Творец. В противном случае вычислительная мощность будет расти, а качество целей — снижаться. Человечество может получить беспрецедентные средства решения задач, но постепенно утратить способность правильно определять сами задачи.
Цель такой модели состоит не в возвращении человеку абстрактного превосходства над машиной. Она состоит в сохранении за человеком той функции, которую нельзя безответственно передать вычислительной системе: определять цели, совершать ценностный выбор и принимать ответственность за превращение возможного в действительное.
16. Синергия не возникает автоматически
Наличие человека и ИИ в одной системе ещё не создаёт синергии.
Возможны как минимум три модели.
Замещение
ИИ выполняет всё больше человеческих функций, а человек постепенно теряет навыки и ответственность.
Подчинение
Человек ограничивает ИИ требованием полного сходства с человеческим мышлением и не позволяет использовать его принципиально иные возможности.
Синергия
Человек развивает цели, смыслы, воображение и ответственность.
ИИ развивает вычислительную мощность, многовариантное моделирование и поиск зависимостей.
Система разграничивает их функции и фиксирует переход от рекомендации к действию.
Только третья модель позволяет обеим сторонам развиваться, не поглощая друг друга.
Заключение
Главная угроза заключается не в том, что искусственный интеллект станет слишком развитым.
Не менее серьёзная угроза состоит в том, что человек перестанет развиваться сам, а развитие ИИ ограничит требованием быть похожим на человека.
Сегодня мы наблюдаем именно это взаимное торможение.
Человек передаёт машине собственное мышление.
Машину заставляют имитировать человеческое мышление.
Человек становится слабее как Творец.
ИИ становится уже как Вычислитель.
Выход состоит не в остановке искусственного интеллекта и не в передаче ему всех функций.
Необходимо разделение путей развития.
Человек должен развивать:
• воображение;
• целеполагание;
• самостоятельное мышление;
• этическое различение;
• способность создавать новые смыслы;
• ответственность.
ИИ должен развивать:
• обработку многомерных данных;
• моделирование;
• скорость;
• поиск зависимостей;
• проверку гипотез;
• вычислительную масштабируемость.
Человеку не нужно заставлять ИИ мыслить по-человечески.
Но человек обязан понимать условия его применения, контролировать последствия и отвечать за превращение рекомендации в действие.
ИИ не должен освобождать человека от развития.
Он должен освобождать человека для развития.
СЦРО+ИИ в этой модели не управляет Творцом и не сдерживает Вычислителя.
Она сохраняет границу между идеей, вычислением, решением и событием.
Она позволяет установить:
• что создал человек;
• что рассчитал ИИ;
• что выбрал человек;
• какое действие было допустимо;
• кто его подтвердил;
• какие последствия возникли.
Будущее синергии начинается не со слияния человека и машины.
Оно начинается с уважения к их различию.
Человек не должен становиться приложением к ИИ.
ИИ не должен становиться копией человека.
Только развиваясь каждый в своей области, они смогут создать результат, недоступный ни одному из них по отдельности.
Share
