The post has been translated automatically. Original language: Russian
Artificial intelligence can give the wrong answer by formulating it consistently, in detail and convincingly. It is this kind of presentation that sometimes prevents the user from noticing the error.
In 2025, researchers conducted an experiment involving 308 people. They studied how explanations, source references, and logical contradictions affect the credibility of language models' responses.
The results showed that having an explanation increased confidence in both correct and incorrect answers. In other words, detailed argumentation by itself did not guarantee the validity of the conclusion.
However, participants were less likely to agree with an erroneous answer if they were provided with sources or if there were noticeable inconsistencies in the explanation.
An earlier study by Harvard University specialists also showed that people can accept AI recommendations even when they are wrong. 199 people participated in the experiment.
The researchers tested special techniques that encouraged participants to analyze information on their own first and only then refer to the system's recommendations. This approach has reduced excessive trust in AI, although it has not completely eliminated it.
The authors attribute the problem to the fact that people do not always carefully analyze each recommendation and its explanation. Instead, they can focus on simpler features and the overall impression of the system. Therefore, having a detailed explanation does not mean that the decision was made consciously.
To use AI more responsibly, it is useful to follow a few rules::
- first, formulate your own version of the answer;
- request and verify primary sources;
- double-check important facts, figures, and dates separately;
- ask the AI to identify weaknesses and possible errors in its output;
- do not make decisions with serious consequences based solely on the model's response.
The main risk is not that AI sometimes makes mistakes. People make mistakes too. The danger arises when a convincing response reduces our desire to verify its content.
Therefore, an important professional skill is not only the ability to ask AI questions correctly, but also the ability to critically evaluate the answers received.
Persuasiveness is the quality of presentation. Reliability is the quality of information. One does not guarantee the other.
Искусственный интеллект может дать неправильный ответ, сформулировав его последовательно, подробно и убедительно. Именно такая подача иногда мешает пользователю заметить ошибку.
В 2025 году исследователи провели эксперимент с участием 308 человек. Они изучали, как объяснения, ссылки на источники и логические противоречия влияют на доверие к ответам языковых моделей.
Результаты показали, что наличие объяснения повышало доверие как к правильным, так и к неправильным ответам. Иными словами, подробная аргументация сама по себе не гарантировала достоверности вывода.
Однако участники реже соглашались с ошибочным ответом, если им предоставляли источники или если в объяснении присутствовали заметные несоответствия.
Более раннее исследование специалистов Гарвардского университета также показало, что люди могут принимать рекомендации ИИ даже тогда, когда они ошибочны. В эксперименте участвовали 199 человек.
Исследователи протестировали специальные приёмы, которые побуждали участников сначала самостоятельно анализировать информацию и только потом обращаться к рекомендации системы. Такой подход снизил чрезмерное доверие к ИИ, хотя полностью его не устранил.
Авторы связывают проблему с тем, что люди не всегда внимательно анализируют каждую рекомендацию и её объяснение. Вместо этого они могут ориентироваться на более простые признаки и общее впечатление от системы. Поэтому наличие подробного объяснения ещё не означает, что решение было принято осознанно.
Чтобы использовать ИИ более ответственно, полезно соблюдать несколько правил:
- сначала сформулировать собственную версию ответа;
- запрашивать и проверять первоисточники;
- отдельно перепроверять важные факты, цифры и даты;
- просить ИИ указать слабые места и возможные ошибки в своём выводе;
- не принимать решения с серьёзными последствиями только на основании ответа модели.
Главный риск заключается не в том, что ИИ иногда ошибается. Ошибаются и люди. Опасность возникает, когда убедительная форма ответа снижает наше желание проверить его содержание.
Поэтому важным профессиональным навыком становится не только умение правильно задавать вопросы ИИ, но и способность критически оценивать полученные ответы.
Убедительность — это качество изложения. Достоверность — качество информации. Одно не гарантирует другого.
Share
