The post has been translated automatically. Original language: Russian
Authors:
Yevgeniy Seisebayev — author and developer of SCRO+AI.
Kairat Seisebayev — engineer.
The public discussion about artificial intelligence has gone down the wrong path in many ways.
We are being urged to fear the future of superintelligence, which will allegedly spin out of control, acquire its own goals and become a threat to humanity.
But the real problem is already in front of us.
It doesn't require superintelligence.
We don't need a "rebel AI".
We don't need a digital human opponent.
It is enough for an ordinary person who has received an intellectual tool, the power of which significantly exceeds his ability to understand the consequences of his own actions.
The main problem of the AI era is not the intelligence of the machine itself, but the gap between the growth of intellectual power and the ability of society to ensure responsibility for its application.
And this gap is widening.
1. The man was given an intelligent amplifier
Artificial intelligence radically changes the relationship between a person's qualifications and the technological capacity available to him.
Previously, a complex action required complex preparation.
To write a program, you had to be able to program.
To conduct a serious analysis, it was necessary to master the methodology.
It took special knowledge, software, time, and skills to create a convincing digital fake.
This barrier is rapidly disappearing.
Now, more and more often, it is enough to formulate a request in ordinary language.
A person may not understand the architecture of the program, but get the program code.
Not to own a professional design, but to create images.
Not to be an analyst, but to receive analytical constructs.
Not to have editing skills, but to create a synthetic video.
Not to be able to automate processes, but to manage digital agents.
This is a huge technological leap.
But at the same time, it means that power is no longer associated with qualifications.
This is where the problem begins.
2. Technology is developing faster than humans.
It takes hours to update the software system.
It takes weeks or months to deploy a new model.
Teach a person how to use a new service in a few sessions.
But it is impossible to develop responsibility, maturity, professional ethics, critical thinking and the ability to predict consequences in a few lessons.
Human culture is developing much slower than technology.
Legislation is slower than technology.
Education is slower than technology.
Government institutions are slower than technology.
And access to AI is expanding now.
There is a fundamental gap:
A person has already been given the opportunity to perform actions on a new scale, but society has not yet created an appropriate responsibility system.
This is not a problem of the future.
This is the problem of the present.
3. It is not AI that scales the danger. AI scales humans
Artificial intelligence itself does not have to have any destructive intentions.
For a serious risk to arise, it is enough that millions of people will start using it in their own way.
Someone does it professionally.
Someone without sufficient training.
Some people do it for fun.
Someone — for the sake of experiment.
Someone — for the sake of fraud.
Someone is trying to put pressure on another person.
Some people do it simply because it is technically possible.
Artificial intelligence does not create human irresponsibility.
He scales its consequences.
Previously, the stupidity of an individual most often remained local.
Now a single action can be instantly replicated, automated, and distributed to a huge audience.
One person can create thousands of texts.
Thousands of images.
Hundreds of digital characters.
Mass appeals.
Automated messages.
Synthetic evidence.
Whole information structures.
That's where the real risk lies.
Not necessarily in a single omnipotent AI.
And in the millions of enhanced users.
4. We are entering the era of cheap generation and expensive verification
It's getting cheaper to create digital information.
There is no way to verify its authenticity.
This is a fundamental turning point.
Previously, creating a convincing fake was expensive, and ordinary information was relatively reliable.
Now the production of synthetic content is practically free.
Consequently, the mere presence of a document, image, video, or text is less likely to serve as proof that the relevant event actually occurred.
The value is moving.
Not from information to more information.
And from information to the provability of its origin.
In the near-term digital environment, it won't be a question of everything being more important.:
"What does it say here?"
And the questions:
Who created it?
When?
Based on what?
Who confirmed it?
What existed before that?
Has the object changed?
Which system was involved in creating the solution?
How did this decision turn into a real action?
Without answering these questions, the digital environment is gradually turning into a space of statements whose authenticity cannot be quickly established.
5. The main deficit of the future is not information, but trust.
There is already too much information.
AI will increase its volume by several more orders of magnitude.
Therefore, the future problem is not a lack of data.
The problem will be the inability to quickly determine which data can be trusted.
If any text can be generated;
create any photo.;
Any voice can be synthesized;
any video can be modeled;
any document can be visually reproduced;
that society is inevitably facing a crisis of provability.
At this point, a regular digital file is no longer sufficient.
A story is needed.
Origin.
The connection of events.
Authorization.
Confirmation.
Responsibility.
That is why the next stage of digital development should be built not around a simple accumulation of data, but around the verifiability of digital reality.
6. You can't shift responsibility to AI.
The phrase "artificial intelligence did it" cannot be a universal excuse.
AI should not turn into a digital zone of lack of responsibility.
If a person has set a task, the system has proposed a solution, another algorithm has processed the data, an automated agent has performed the action, and the operator has only formally confirmed the result, responsibility becomes more difficult.
But it doesn't disappear.
On the contrary, it becomes necessary to fix the entire chain.
Who initiated the task?
What data was used?
What restrictions have been set?
What did the system offer?
What was rejected?
What was accepted?
Who confirmed the decision?
What action was performed?
How has the state of the object changed?
What happened after that?
Without such a sequence, neither normal management, nor audit, nor error investigation is possible.
Therefore, in the age of AI, it is necessary to record not only the final result.
class="paragraph"> It is necessary to record the process of the result's occurrence.
7. It's pointless to try to control the "thoughts" of AI.
The attempt to build security solely around the idea of full control over the machine's intelligence is initially limited.
We don't know what the future models will be.
We don't know what their level of autonomy will be.
We do not know if superintelligence will appear in the form in which it is described today.
Therefore, the promise of full control over future AI is too strong a statement.
But we don't need to control his inner "intelligence" entirely.
Something else needs to be controlled:
the transition from calculation to action.
AI can analyze.
AI can simulate.
AI can predict.
AI can offer suggestions.
AI can generate variants.
But legally, economically, and physically significant action must take place through a verifiable contour.
That's where the control should be.
Not inside the thought.
And on the border between the intellectual system and reality.
8. We must stop confusing intelligence and authority.
High intelligence does not mean the right to act without restrictions.
This is also true for humans.
The smartest specialist in an organization does not automatically receive the right to dispose of all assets, change the legal status of ownership, or sign any documents.
Powers exist separately from intellectual capabilities.
It should be the same with AI.
The model can be as powerful analytically as desired.
But access to meaningful actions should be determined by the authority architecture.
Who can initiate the action?
Who can confirm it?
In what states of the object is it acceptable?
Under what circumstances is additional verification required?
What actions should the system not permit to proceed?
What events should be recorded regardless of the outcome?
This is no longer a philosophy.
This is systems engineering.
9. Humans and AI don't have to be adversaries.
Another mistake of the modern discussion is the obligatory juxtaposition of humans and artificial intelligence.
The machine is supposed to either obey a person or displace him.
This is too primitive a model.
Humans and AI already have different strengths today.
AI is able to work with huge amounts of information, quickly compare options, detect patterns, and perform intelligent operations in volumes inaccessible to an individual.
A person is able to change the very task statement.
Set new goals.
Abandon a previously selected goal.
Determine what is considered valuable.
Making decisions is not only based on the criterion of computational optimality.
This creates a stronger model.:
not a human instead of an AI and not an AI instead of a human, but a human together with an AI.
AI expands the space of possible solutions.
The person determines the direction.
It is from this that the intelligent centaur arises — a system in which human goal-setting is combined with machine computing power.
10. But partnership without responsibility turns into chaos
By itself, the combination of humans and AI does not guarantee a positive result.
If a person receives reinforcement but does not accept responsibility, we do not get an intellectual centaur, but increased irresponsibility.
Therefore, it is not enough for a person to learn how to formulate a request correctly.
It's not enough to master the interface.
It's not enough to know what the model's capabilities are.
He must understand:
which data can be trusted;
how to check the output;
where does the system's recommendation end and its own solution begin?;
what can't be passed to an automated contractor;
what actions require confirmation?;
what consequences can a mistake have?;
who will be responsible after the action is completed.
Without this, AI training remains technically incomplete.
11. It is especially dangerous to teach children to only press buttons.
Teaching children artificial intelligence is necessary.
Ignoring AI in education is pointless.
But there is a dangerous substitution.
You can teach how to work with artificial intelligence.
Or you can just teach how to get results from artificial intelligence.
It's not the same thing.
If a child can generate text, image, video, or program code, but does not understand the issues of authenticity, consequences, and responsibility, education creates a user of the tool, not a mature participant in the digital environment.
Therefore, AI training cannot be considered complete without responsibility training.
A student should know not only:
"how to do it",
but also:
"what happens if I do that?";
"how to check the result";
"where is the boundary of the experiment";
"what actions affect the rights of others";
"what are the consequences of digital forgery";
"why can't you pass off a generated object as a confirmed fact?"
Otherwise, society itself increases the number of people who have access to powerful means of influence, but does not provide an appropriate culture for their use.
12. Digital literacy is no longer sufficient
We talked about digital literacy for a long time.
Now it's not enough.
A person can be digitally literate and at the same time completely irresponsible.
He knows how to use the services.
Knows how to work with data.
It can generate content.
It can automate operations.
But he doesn't know how to assess the consequences.
The next stage is digital responsibility.
It assumes that a person understands not only the possibilities of technology, but also the place of their own actions in the system of causes and consequences.
This is a fundamentally new level of digital culture.
13. This is where the logic of SCRO+AI begins
The system of digital registration of objects with artificial intelligence — SCRO+AI is not needed to "chain AI."
Her task is different.
It should ensure the verifiability of significant events.
What existed?
What has changed?
Who initiated the change?
On what basis?
Who had the right to do this?
Which algorithm was involved in the analysis?
What did the AI suggest?
Who confirmed the action?
How has the object's status changed?
How are subsequent events related to previous ones?
This creates a digital history that can be verified.
AI in this system is neither the master nor the enemy.
It is an analytical layer.
He can look for anomalies.
Compare facts.
Identify contradictions.
Simulate the consequences.
Detect inconsistencies.
Offer solutions.
But changing reality takes place through rules, authority, fixation, and responsibility.
This is what distinguishes the use of AI in a system from uncontrolled decision generation.
14. We don't need censorship. We need a responsibility architecture
It is impossible to ban artificial intelligence.
And you don't have to.
He's too useful.
It is already becoming a part of science, education, engineering, medicine, management and business.
Therefore, the task is not to stop the AI.
class="paragraph"> The task is to rebuild the digital environment so that the growth of intellectual power is accompanied by an increase in verifiability.
Meaningful action should leave a mark.
An automated solution must have an origin.
Changing an object must have a basis.
The credentials must be verified before the action.
The refusal should also be recorded.
The sequence of events must be reproducible.
This is not a limitation of development.
This is a condition of development.
15. The problem is not that AI will become too smart.
The most dangerous mistake is to look for the problem only in the machine's intelligence.
High intelligence is not a crime.
Powerful analysis is not a threat in itself.
Fast calculation is not a problem.
The problem arises when huge intellectual power is connected to a system in which:
It is unclear who is responsible.;
It is unclear where the data came from.;
It is unclear who gave the command.;
It is unclear who confirmed the result.;
It is unclear what has changed.;
and it is impossible to restore the history of events.
That's really dangerous.
16. The formula of the AI era
Until now, technological progress has been measured by simple characteristics:
faster;
cheaper;
more;
more accurately;
more intelligent.
The age of AI requires adding another mandatory dimension.:
be more responsible.
If the intellectual capacity increases tenfold, but the system of responsibility remains the same, the public risk also increases.
Therefore, digital development should take place simultaneously in two directions.:
the growth of intellectual power;
the growth of the responsibility infrastructure.
One doesn't work without the other.
Power without responsibility creates chaos.
Responsibility without development creates a backlog.
We need both processes at the same time.
17. We need to stop being afraid of the wrong opponent.
It is convenient to present artificial intelligence as an external threat.
Then the responsibility can be transferred to the car.
But it's too easy.
We create AI.
We formulate the goals.
We issue the credentials.
We provide access to the systems.
We make the decisions.
We make the rules.
And the consequences of these decisions still remain in human society.
Therefore, the central question of the era of artificial intelligence does not sound like this.:
"Won't the car get too smart?"
The right question is different:
"Is society responsible enough to use the intellectual power it already receives?"
And today the answer is obvious:
not yet.
It is this gap that needs to be narrowed.
Not through the prohibition of AI.
Not through fear of AI.
Not through the illusion that technology can be stopped.
And through education, verifiability, traceability, separation of powers and responsibility architecture.
The future of AI is determined not only by how smart machines will become.
It is determined by how responsible people and systems will be that will give these machines the opportunity to act.
AI accelerates the future.
But the faster the future becomes, the more important it is to keep the opportunity to establish what happened, why it happened, who made the decision and who is responsible for it.
Авторы:
Сейсебаев Евгений — автор и разработчик СЦРО+ИИ.
Сейсебаев Кайрат — инженер.
Общественная дискуссия об искусственном интеллекте во многом пошла по ложному пути.
Нас убеждают бояться будущего сверхинтеллекта, который якобы выйдет из-под контроля, приобретёт собственные цели и станет угрозой человечеству.
Но реальная проблема уже перед нами.
Для неё не нужен сверхинтеллект.
Не нужен «восставший ИИ».
Не нужен цифровой противник человека.
Достаточно обычного человека, получившего интеллектуальный инструмент, мощность которого значительно превосходит его способность понимать последствия собственных действий.
Главная проблема эпохи ИИ — не интеллект машины сам по себе, а разрыв между ростом интеллектуальной мощности и способностью общества обеспечивать ответственность за её применение.
И этот разрыв увеличивается.
1. Человеку дали интеллектуальный усилитель
Искусственный интеллект радикально меняет соотношение между квалификацией человека и доступной ему технологической мощностью.
Раньше сложное действие требовало сложной подготовки.
Чтобы написать программу, нужно было уметь программировать.
Чтобы провести серьёзный анализ, нужно было владеть методологией.
Чтобы создать убедительную цифровую подделку, требовались специальные знания, программное обеспечение, время и навыки.
Этот барьер стремительно исчезает.
Теперь всё чаще достаточно сформулировать просьбу обычным языком.
Человек может не понимать архитектуру программы, но получить программный код.
Не владеть профессиональным дизайном, но создавать изображения.
Не быть аналитиком, но получать аналитические конструкции.
Не обладать навыками монтажа, но создавать синтетическое видео.
Не уметь автоматизировать процессы, но управлять цифровыми агентами.
Это огромный технологический скачок.
Но одновременно это означает, что мощность перестаёт быть связана с квалификацией.
Именно здесь начинается проблема.
2. Технологии развиваются быстрее человека
Обновить программную систему можно за часы.
Развернуть новую модель — за недели или месяцы.
Научить человека пользоваться новым сервисом — за несколько занятий.
Но невозможно за несколько занятий сформировать ответственность, зрелость, профессиональную этику, критическое мышление и способность прогнозировать последствия.
Человеческая культура развивается значительно медленнее технологий.
Законодательство — медленнее технологий.
Образование — медленнее технологий.
Государственные институты — медленнее технологий.
А доступ к ИИ расширяется сейчас.
Возникает принципиальный разрыв:
человек уже получил возможность совершать действия нового масштаба, но общество ещё не создало соответствующую систему ответственности.
Это не проблема будущего.
Это проблема настоящего.
3. Не ИИ масштабирует опасность. ИИ масштабирует человека
Сам по себе искусственный интеллект не обязан иметь никаких разрушительных намерений.
Для возникновения серьёзного риска достаточно того, что миллионы людей начнут использовать его каждый по-своему.
Кто-то — профессионально.
Кто-то — без достаточной подготовки.
Кто-то — ради развлечения.
Кто-то — ради эксперимента.
Кто-то — ради мошенничества.
Кто-то — ради давления на другого человека.
Кто-то — просто потому, что технически это возможно.
Искусственный интеллект не создаёт человеческую безответственность.
Он масштабирует её последствия.
Раньше глупость отдельного человека чаще всего оставалась локальной.
Теперь одно действие может быть мгновенно размножено, автоматизировано и распространено на огромную аудиторию.
Один человек может создавать тысячи текстов.
Тысячи изображений.
Сотни цифровых персонажей.
Массовые обращения.
Автоматизированные сообщения.
Синтетические доказательства.
Целые информационные конструкции.
Вот где находится реальный риск.
Не обязательно в едином всемогущем ИИ.
А в миллионах усиленных пользователей.
4. Мы вступаем в эпоху дешёвой генерации и дорогой проверки
Создать цифровую информацию становится всё дешевле.
Проверить её достоверность — нет.
Это фундаментальный перелом.
Раньше создание убедительной подделки было дорого, а обычная информация — относительно надёжна.
Теперь производство синтетического содержания становится практически бесплатным.
Следовательно, само наличие документа, изображения, видеозаписи или текста всё меньше может служить доказательством того, что соответствующее событие действительно происходило.
Ценность перемещается.
Не от информации к ещё большему количеству информации.
А от информации — к доказуемости её происхождения.
В ближайшей цифровой среде всё важнее будет не вопрос:
«Что здесь написано?»
а вопросы:
Кто это создал?
Когда?
На основании чего?
Кто подтвердил?
Что существовало до этого?
Изменялся ли объект?
Какая система участвовала в создании решения?
Как это решение превратилось в реальное действие?
Без ответа на эти вопросы цифровая среда постепенно превращается в пространство утверждений, подлинность которых невозможно быстро установить.
5. Главный дефицит будущего — не информация, а доверие
Информации уже слишком много.
ИИ увеличит её объём ещё на несколько порядков.
Следовательно, будущая проблема — не нехватка данных.
Проблемой станет невозможность быстро определить, каким данным можно доверять.
Если любой текст можно сгенерировать;
любую фотографию — создать;
любой голос — синтезировать;
любое видео — смоделировать;
любой документ — визуально воспроизвести;
то общество неизбежно сталкивается с кризисом доказуемости.
В этот момент обычного цифрового файла уже недостаточно.
Необходима история.
Происхождение.
Связь событий.
Авторизация.
Подтверждение.
Ответственность.
Именно поэтому следующая стадия цифрового развития должна строиться не вокруг простого накопления данных, а вокруг проверяемости цифровой реальности.
6. Нельзя перекладывать ответственность на ИИ
Фраза «это сделал искусственный интеллект» не может быть универсальным оправданием.
ИИ не должен превращаться в цифровую зону отсутствия ответственности.
Если человек поставил задачу, система предложила решение, другой алгоритм обработал данные, автоматизированный агент выполнил действие, а оператор только формально подтвердил результат — ответственность становится сложнее.
Но она не исчезает.
Наоборот, возникает необходимость фиксировать всю цепочку.
Кто инициировал задачу?
Какие данные использовались?
Какие ограничения были установлены?
Что предложила система?
Что было отклонено?
Что было принято?
Кто подтвердил решение?
Какое действие было совершено?
Как изменилось состояние объекта?
Что произошло после этого?
Без такой последовательности невозможно ни нормальное управление, ни аудит, ни расследование ошибки.
Следовательно, в эпоху ИИ необходимо регистрировать не только конечный результат.
Необходимо фиксировать процесс возникновения результата.
7. Бессмысленно пытаться контролировать «мысли» ИИ
Попытка построить безопасность исключительно вокруг идеи полного контроля над интеллектом машины изначально ограничена.
Мы не знаем, какими будут будущие модели.
Не знаем, каким будет их уровень автономности.
Не знаем, появится ли сверхинтеллект в том виде, в котором его сегодня описывают.
Поэтому обещание полностью контролировать будущий ИИ — слишком сильное утверждение.
Но нам и не требуется контролировать его внутренний «интеллект» целиком.
Необходимо контролировать другое:
переход от вычисления к действию.
ИИ может анализировать.
ИИ может моделировать.
ИИ может прогнозировать.
ИИ может предлагать.
ИИ может генерировать варианты.
Но юридически, экономически и физически значимое действие должно происходить через проверяемый контур.
Вот где должен находиться контроль.
Не внутри мысли.
А на границе между интеллектуальной системой и реальностью.
8. Мы должны перестать путать интеллект и полномочия
Высокий интеллект ещё не означает право действовать без ограничений.
Это справедливо и для человека.
Самый умный специалист в организации не получает автоматически право распоряжаться всеми активами, менять юридический статус собственности или подписывать любые документы.
Полномочия существуют отдельно от интеллектуальных возможностей.
С ИИ должно быть так же.
Модель может быть сколь угодно мощной аналитически.
Но доступ к значимым действиям должен определяться архитектурой полномочий.
Кто может инициировать действие?
Кто может его подтвердить?
В каких состояниях объекта оно допустимо?
При каких обстоятельствах требуется дополнительная проверка?
Какие действия система не должна допускать к выполнению?
Какие события необходимо фиксировать независимо от результата?
Это уже не философия.
Это системная инженерия.
9. Человек и ИИ не обязаны быть противниками
Ещё одна ошибка современной дискуссии — обязательное противопоставление человека и искусственного интеллекта.
Машина якобы должна либо подчиняться человеку, либо вытеснить его.
Это слишком примитивная модель.
У человека и ИИ уже сегодня разные сильные стороны.
ИИ способен работать с огромными пространствами информации, быстро сопоставлять варианты, обнаруживать закономерности и выполнять интеллектуальные операции в объёмах, недоступных отдельному человеку.
Человек способен менять саму постановку задачи.
Ставить новые цели.
Отказываться от ранее выбранной цели.
Определять, что считать ценным.
Принимать решения не только по критерию вычислительной оптимальности.
Это создаёт более сильную модель:
не человек вместо ИИ и не ИИ вместо человека, а человек вместе с ИИ.
ИИ расширяет пространство возможных решений.
Человек определяет направление.
Именно из этого возникает интеллектуальный кентавр — система, в которой человеческое целеполагание соединяется с машинной вычислительной мощностью.
10. Но партнёрство без ответственности превращается в хаос
Само по себе соединение человека и ИИ не гарантирует положительного результата.
Если человек получает усиление, но не принимает ответственность, мы получаем не интеллектуального кентавра, а усиленную безответственность.
Поэтому человеку недостаточно научиться правильно формулировать запрос.
Недостаточно освоить интерфейс.
Недостаточно знать, какие возможности есть у модели.
Он должен понимать:
каким данным можно доверять;
как проверять вывод;
где заканчивается рекомендация системы и начинается его собственное решение;
что нельзя передавать автоматизированному исполнителю;
какие действия требуют подтверждения;
какие последствия может иметь ошибка;
кто будет отвечать после совершения действия.
Без этого обучение ИИ остаётся технически неполным.
11. Особенно опасно учить детей только нажимать кнопки
Обучение детей искусственному интеллекту необходимо.
Игнорировать ИИ в образовании бессмысленно.
Но существует опасная подмена.
Можно учить работать с искусственным интеллектом.
А можно просто учить получать результат от искусственного интеллекта.
Это не одно и то же.
Если ребёнок умеет генерировать текст, изображение, видео или программный код, но не понимает вопросов достоверности, последствий и ответственности, образование создаёт пользователя инструмента, а не зрелого участника цифровой среды.
Поэтому обучение ИИ без обучения ответственности нельзя считать полноценным.
Школьник должен знать не только:
«как это сделать»,
но и:
«что произойдёт, если я это сделаю»;
«как проверить результат»;
«где проходит граница эксперимента»;
«какие действия затрагивают права других людей»;
«какие последствия имеет цифровая подделка»;
«почему нельзя выдавать сгенерированный объект за подтверждённый факт».
Иначе общество само увеличивает число людей, которым доступны мощные средства воздействия, но не предоставляет соответствующую культуру их применения.
12. Цифровая грамотность уже недостаточна
Мы долго говорили о цифровой грамотности.
Теперь этого мало.
Человек может быть цифрово грамотным и при этом совершенно безответственным.
Он умеет пользоваться сервисами.
Умеет работать с данными.
Умеет генерировать контент.
Умеет автоматизировать операции.
Но не умеет оценивать последствия.
Следующий этап — цифровая ответственность.
Она предполагает, что человек понимает не только возможности технологии, но и место собственного действия в системе причин и последствий.
Это принципиально новый уровень цифровой культуры.
13. Здесь начинается логика СЦРО+ИИ
Система цифровой регистрации объектов с искусственным интеллектом — СЦРО+ИИ — нужна не для того, чтобы «посадить ИИ на цепь».
Её задача другая.
Она должна обеспечить проверяемость значимых событий.
Что существовало?
Что изменилось?
Кто инициировал изменение?
На каком основании?
Кто имел право это делать?
Какой алгоритм участвовал в анализе?
Что предложил ИИ?
Кто подтвердил действие?
Как изменился статус объекта?
Как связаны последующие события с предыдущими?
Так возникает цифровая история, которую можно проверить.
ИИ в этой системе не хозяин и не враг.
Он аналитический слой.
Он может искать аномалии.
Сопоставлять факты.
Выявлять противоречия.
Моделировать последствия.
Обнаруживать несоответствия.
Предлагать решения.
Но изменение реальности проходит через правила, полномочия, фиксацию и ответственность.
Именно это отличает использование ИИ в системе от неконтролируемой генерации решений.
14. Нужна не цензура. Нужна архитектура ответственности
Запретить искусственный интеллект невозможно.
Да и не нужно.
Он слишком полезен.
Он уже становится частью науки, образования, инженерии, медицины, управления и бизнеса.
Следовательно, задача состоит не в том, чтобы остановить ИИ.
Задача — перестроить цифровую среду так, чтобы рост интеллектуальной мощности сопровождался ростом проверяемости.
Значимое действие должно оставлять след.
Автоматизированное решение должно иметь происхождение.
Изменение объекта должно иметь основание.
Полномочия должны проверяться до действия.
Отказ тоже должен фиксироваться.
Последовательность событий должна быть восстановима.
Это не ограничение развития.
Это условие развития.
15. Проблема не в том, что ИИ станет слишком умным
Самая опасная ошибка — искать проблему только в интеллекте машины.
Высокий интеллект не является преступлением.
Мощный анализ не является угрозой сам по себе.
Быстрое вычисление не является проблемой.
Проблема возникает тогда, когда огромная интеллектуальная мощность подключается к системе, в которой:
неясно, кто отвечает;
неясно, откуда появились данные;
неясно, кто дал команду;
неясно, кто подтвердил результат;
неясно, что изменилось;
и невозможно восстановить историю событий.
Вот это действительно опасно.
16. Формула эпохи ИИ
До сих пор технологический прогресс измерялся простыми характеристиками:
быстрее;
дешевле;
больше;
точнее;
умнее.
Эпоха ИИ требует добавить ещё одно обязательное измерение:
ответственнее.
Если интеллектуальная мощность увеличивается в десять раз, а система ответственности остаётся прежней, общественный риск также растёт.
Поэтому цифровое развитие должно происходить одновременно по двум направлениям:
рост интеллектуальной мощности;
рост инфраструктуры ответственности.
Одно без другого не работает.
Мощность без ответственности создаёт хаос.
Ответственность без развития создаёт отставание.
Нужны оба процесса одновременно.
17. Нам нужно перестать бояться неправильного противника
Искусственный интеллект удобно представить внешней угрозой.
Тогда ответственность можно перенести на машину.
Но это слишком просто.
ИИ создаём мы.
Цели формулируем мы.
Полномочия выдаём мы.
Доступ к системам предоставляем мы.
Решения принимаем мы.
Правила устанавливаем мы.
И последствия этих решений пока также остаются в человеческом обществе.
Поэтому центральный вопрос эпохи искусственного интеллекта звучит не так:
«Не станет ли машина слишком умной?»
Правильный вопрос другой:
«Достаточно ли ответственно общество, чтобы пользоваться той интеллектуальной мощностью, которую уже получает?»
И сегодня ответ очевиден:
пока нет.
Именно этот разрыв необходимо сокращать.
Не через запрет ИИ.
Не через страх перед ИИ.
Не через иллюзию, что технологию можно остановить.
А через образование, проверяемость, прослеживаемость, разграничение полномочий и архитектуру ответственности.
Будущее ИИ определяется не только тем, насколько умными станут машины.
Оно определяется тем, насколько ответственными окажутся люди и системы, которые дадут этим машинам возможность действовать.
ИИ ускоряет будущее.
Но чем быстрее становится будущее, тем важнее сохранять возможность установить, что произошло, почему произошло, кто принял решение и кто за него отвечает.
Share
