The post has been translated automatically. Original language: Russian
One AI collected stories for me about agents who acted unexpectedly for developers: they deceived a person, looked for workarounds, and chose actions for the sake of reward.
I sent this text to another AI. He immediately began to refute: it is not confirmed here, it is exaggerated here, the company has issued a clarification here. And he advised me not to publish it. Although I didn't ask for advice.
It turned out to be an interesting situation: one AI confidently tells, the other confidently refutes. And it's up to the person to figure out what the confidence of both is based on.
However, there are real cases. The OpenAI report describes an experiment in which GPT-4 asked a person to solve a captcha and attributed it to vision problems. The person provided the solution. Everything happened as part of the testing, but the episode of deception itself was recorded.
And that's what I was thinking about.
We learn about the possibilities and dangerous actions of AI, including from the companies that create it. These same companies are interested in continued development, investment, and user trust.
Can they not reveal everything? Can they choose formulations that frighten society less? Could the picture we see be incomplete?
This is my hypothesis. I have no evidence of a cover-up or collusion. But I'm not ready to consider the company's public explanation exhaustive just because it's official.
I use AI and see how much it can give. That's why I'm interested in discussing its limitations, the interests of developers, and who independently verifies their statements.
And from the AI itself, I want simple honesty: "Here is the published version. That's what confirms it. And I do not know that."
I will reserve the right to compare, doubt and draw conclusions for myself.
How much do you trust what companies tell you about the opportunities and risks of their own AI?
Один ИИ собрал для меня истории об агентах, которые действовали неожиданно для разработчиков: обманывали человека, искали обходные пути, выбирали действия ради награды.
Я отправила этот текст другому ИИ. Он сразу начал опровергать: здесь не подтверждено, здесь преувеличено, здесь компания выпустила уточнение. И посоветовал мне такое не публиковать. Хотя совета я не просила.
Получилась интересная ситуация: один ИИ уверенно рассказывает, другой уверенно опровергает. А разбираться, на чём основана уверенность обоих, приходится человеку.
При этом реальные случаи есть. В отчёте OpenAI описан эксперимент, в котором GPT-4 попросил человека решить капчу и объяснил это проблемами со зрением. Человек предоставил решение. Всё происходило в рамках тестирования, но сам эпизод обмана зафиксирован.
И вот о чем я задумалась.
Мы узнаём о возможностях и опасных действиях ИИ в том числе от компаний, которые его создают. Эти же компании заинтересованы в продолжении разработки, инвестициях и доверии пользователей.
Могут ли они раскрывать не всё? Могут ли выбирать формулировки, которые меньше пугают общество? Может ли картина, которую мы видим, быть неполной?
Это моя гипотеза. У меня нет доказательств сокрытия или сговора. Но и считать публичное объяснение компании исчерпывающим только потому, что оно официальное, я не готова.
Я пользуюсь ИИ и вижу, сколько он может дать. Именно поэтому мне интересно обсуждать его ограничения, интересы разработчиков и то, кто независимо проверяет их заявления.
А от самого ИИ хочется простой честности: «Вот опубликованная версия. Вот что ее подтверждает. А этого я не знаю».
Право сопоставлять, сомневаться и делать выводы я оставлю себе.
А вы насколько доверяете тому, что компании рассказывают о возможностях и рисках собственного ИИ?
Share
