The post has been translated automatically. Original language: Russian
Imagine an advertising campaign for a new product.
The company says:
"Our product is so powerful that it can change the world."
It sounds familiar.
And now another formulation:
"Our product is so powerful that there is a possibility that it will destroy humanity."
This is a completely different level of positioning.
Recent statements by employees of the largest AI companies make us think not only about the safety of artificial intelligence, but also about the unexpected side effect of these warnings.
Perhaps the fear of AI is simultaneously becoming one of the most powerful tools for its promotion.
When a warning sounds like a show of force
Former Anthropic researcher Jacob Coxon said after his dismissal that leading AI companies are actually "playing with our lives" by creating increasingly powerful systems.
Next, Evan Hubinger, head of alignment science Anthropic, wrote that he personally estimates the probability of the destruction of humanity by artificial intelligence in the next decade to be above 10%.
The statements spread through the world's largest media.
And here an interesting paradox arises.
For a person far from machine learning, the message reads something like this:
If the creators themselves are afraid of their own AI, then the technology is really incredibly powerful.
In other words, the risk warning simultaneously becomes proof of the product's capabilities.
Fear perfectly sells technological superiority.
Most users don't know how the modern language model works.
They don't see the weight of the model, the architecture of the transformer, reinforcement learning, or the infrastructure of data centers.
They see the result and the story around it.
And the story of "we have made a very good software tool" is much weaker than the story.:
"We are approaching a system that humanity may not be able to control."
The second formulation creates an almost mythological image of technology.
AI is no longer perceived as software. It transforms into something capable of thinking, planning, making decisions, and potentially surpassing humans.
And along with this, the perceived value of the product is also growing.
If the technology is so powerful, a natural thought arises.:
"I guess I need to start using it too, otherwise I'll be left behind."
Is this an AI company conspiracy?
Probably not.
There is no reason to claim that OpenAI, Anthropic, or other labs specifically organize apocalyptic statements by their employees as an advertising campaign.
Moreover, Jacob Coxon claims the exact opposite: according to him, this is not a marketing trick, but a real fear of people working within the industry.
But for a marketing effect, intention is not necessary at all.
One can sincerely warn about the dangers of technology and at the same time raise its status in the eyes of society.
TechCrunch recently asked almost the same uncomfortable question: isn't the conversation about a potential disaster becoming a kind of demonstration of how far leading AI companies have supposedly come.
This is especially interesting against the background of the possible entry of the largest AI companies into the public market.
The scarier the AI, the more valuable the company?
Let's imagine two technology companies.
The first one says:
"We have developed a convenient language model for automating work."
The second:
"We are creating an intelligence that has the potential to surpass humans, improve itself, and change the structure of the global economy."
Which company looks more fundamental?
Which technology seems more valuable?
And which story has a potentially stronger effect on investors, customers, and the market?
This is the strangeness of the modern AI industry.
Talking about risks can simultaneously work as an advertisement for the scale of technology.
""Be careful with our technology" very easily turns into "look at how powerful our technology is."
The reality is still much more prosaic
Modern language models are really impressive.
But they themselves are not digital creatures that wake up at night and decide to take over the Internet.
The model receives input data, calculates the likely continuation, and generates a result based on the vast amount of information obtained during training.
Real autonomy appears when developers connect the model to the tools.
To the browser. The . CRM code. For . API files. Payments. Corporate systems.
That is why, when developing and integrating AI systems, it is much more important not to fantasize about a digital monster, but to correctly determine the real powers of the model: what data it sees, what actions it can perform, and where human confirmation is required.
Without such tools, the language model can talk about taking over the world as much as it likes. She won't be able to physically do anything.
But you can't completely ignore the risks either.
It's easy to go to the other extreme here and decide that the whole discussion is purely marketing.
That would also be a mistake.
AI agents already know how to write code, use a browser, perform long sequences of actions, and work with external systems.
The more tools they are provided with, the more serious the consequences of mistakes or unexpected behavior become.
Therefore, security issues are real.
The debate is rather about another issue: how realistic is the leap from today's problems with autonomous agents to the scenario of the destruction of humanity.
And here, science cannot provide any reliable "10%" yet.
This is a person's estimate, not a measured probability.
The most successful marketing may not be marketing at all.
Perhaps the employees of Anthropic are genuinely afraid of what they are creating.
Perhaps their fears will be justified.
And perhaps in twenty years, today's statements will be perceived in much the same way as many past predictions about technologies that were supposed to completely change humanity in a few years.
But one thing has already happened.
Millions of people have heard:
The creators of the most advanced AI systems themselves consider their technology to be potentially dangerous for humanity.
And for an industry that sells the idea of new intelligence, it's hard to come up with a stronger confirmation of its own importance.
It turns out to be a strange paradox: the louder the AI industry says "maybe we have created too powerful technology," the more the whole world is convinced that this technology is really incredibly powerful.
And perhaps it is fear that is becoming one of the main engines of the current AI race. What do you think? :)
Представьте рекламную кампанию нового продукта.
Компания говорит:
«Наш продукт настолько мощный, что способен изменить мир».
Звучит привычно.
А теперь другая формулировка:
«Наш продукт настолько мощный, что существует вероятность, что он уничтожит человечество».
Это уже совсем другой уровень позиционирования.
Последние заявления сотрудников крупнейших AI-компаний заставляют задуматься не только о безопасности искусственного интеллекта, но и о неожиданном побочном эффекте этих предупреждений.
Возможно, страх перед ИИ одновременно становится одним из самых сильных инструментов его продвижения.
Когда предупреждение звучит как демонстрация силы
Бывший исследователь Anthropic Джейкоб Коксон заявил после увольнения, что ведущие AI-компании фактически «играют нашими жизнями», создавая все более мощные системы.
Следом руководитель направления alignment science Anthropic Эван Хубингер написал, что лично оценивает вероятность уничтожения человечества искусственным интеллектом в ближайшее десятилетие выше 10%.
Заявления разлетелись по крупнейшим мировым СМИ.
И здесь возникает интересный парадокс.
Для человека, далекого от машинного обучения, сообщение считывается примерно так:
Если сами создатели боятся собственного ИИ, значит технология действительно невероятно мощная.
То есть предупреждение о риске одновременно становится доказательством возможностей продукта.
Страх прекрасно продает технологическое превосходство
Большинство пользователей не знает, как устроена современная языковая модель.
Они не видят веса модели, архитектуру трансформера, обучение с подкреплением или инфраструктуру дата-центров.
Они видят результат и историю вокруг него.
И история «мы сделали очень хороший программный инструмент» значительно слабее истории:
«Мы приближаемся к системе, которую человечество может оказаться неспособно контролировать».
Вторая формулировка создает практически мифологический образ технологии.
ИИ перестает восприниматься как программное обеспечение. Он превращается в нечто, способное думать, планировать, принимать решения и потенциально превосходить человека.
А вместе с этим растет и воспринимаемая ценность продукта.
Если технология настолько мощная, возникает естественная мысль:
«Наверное, мне тоже нужно начать ею пользоваться, иначе я останусь позади».
Это заговор AI-компаний?
Скорее всего, нет.
Нет оснований утверждать, что OpenAI, Anthropic или другие лаборатории специально организуют апокалиптические заявления своих сотрудников в качестве рекламной кампании.
Более того, Джейкоб Коксон утверждает прямо противоположное: по его словам, это не маркетинговый трюк, а реальное опасение людей, работающих внутри индустрии.
Но для маркетингового эффекта намерение вообще не обязательно.
Можно искренне предупреждать об опасности технологии и одновременно повышать ее статус в глазах общества.
TechCrunch недавно задал практически тот же неудобный вопрос: не становится ли разговор о потенциальной катастрофе своеобразной демонстрацией того, насколько далеко якобы продвинулись ведущие AI-компании.
Особенно интересно это выглядит на фоне возможных выходов крупнейших AI-компаний на публичный рынок.
Чем страшнее ИИ, тем ценнее компания?
Представим две технологические компании.
Первая говорит:
«Мы разработали удобную языковую модель для автоматизации работы».
Вторая:
«Мы создаем интеллект, который потенциально способен превзойти человека, самостоятельно совершенствоваться и изменить устройство мировой экономики».
Какая компания выглядит более фундаментальной?
Какая технология кажется более ценной?
И какая история потенциально сильнее действует на инвесторов, клиентов и рынок?
В этом заключается странность современной AI-индустрии.
Разговор о рисках одновременно способен работать как реклама масштаба технологии.
«Будьте осторожны с нашей технологией» очень легко превращается в «посмотрите, насколько наша технология могущественна».
Реальность пока значительно прозаичнее
Современные языковые модели действительно впечатляют.
Но сами по себе они не являются цифровыми существами, которые просыпаются ночью и принимают решение захватить интернет.
Модель получает входные данные, вычисляет вероятное продолжение и формирует результат на основе огромного объема информации, полученной во время обучения.
Реальная автономность появляется тогда, когда разработчики подключают модель к инструментам.
Браузеру. Коду. CRM. Файлам. API. Платежам. Корпоративным системам.
Именно поэтому при разработке и интеграции ИИ-систем намного важнее не фантазировать о цифровом монстре, а правильно определить реальные полномочия модели: какие данные она видит, какие действия может выполнять и где требуется подтверждение человека.
Без таких инструментов языковая модель может сколько угодно рассуждать о захвате мира. Физически сделать что-либо она не сможет.
Но полностью игнорировать риски тоже нельзя
Здесь легко уйти в другую крайность и решить, что вся дискуссия является исключительно маркетингом.
Это тоже было бы ошибкой.
AI-агенты уже умеют писать код, пользоваться браузером, выполнять длинные последовательности действий и работать с внешними системами.
Чем больше инструментов им предоставляют, тем серьезнее становятся последствия ошибок или неожиданного поведения.
Поэтому вопросы безопасности реальны.
Спор идет скорее о другом: насколько реалистичен скачок от сегодняшних проблем с автономными агентами до сценария уничтожения человечества.
И вот здесь никаких достоверных «10%» наука пока предоставить не может.
Это оценка человека, а не измеренная вероятность.
Самый успешный маркетинг может вообще не быть маркетингом
Возможно, сотрудники Anthropic совершенно искренне боятся того, что создают.
Возможно, их опасения окажутся оправданными.
А возможно, через двадцать лет сегодняшние заявления будут восприниматься примерно так же, как многие прошлые прогнозы о технологиях, которые должны были полностью изменить человечество за несколько лет.
Но одно уже произошло.
Миллионы людей услышали:
создатели самых передовых AI-систем сами считают свою технологию потенциально опасной для человечества.
И для индустрии, которая продает идею появления нового интеллекта, трудно придумать более сильное подтверждение собственной значимости.
Получается странный парадокс: чем громче AI-индустрия говорит «возможно, мы создали слишком мощную технологию», тем сильнее весь мир убеждается, что эта технология действительно невероятно мощная.
И, возможно, именно страх становится одним из главных двигателей нынешней AI-гонки. Что думаете? :)
Share
