The post has been translated automatically. Original language: Russian
Today, users are increasingly refusing to search the Internet for a long time, study forums and reviews, preferring to ask questions directly to language models with search access. AI's answers look logical, professional, and save time. But how good is the neural network's advice, and how exactly does it choose brands for its recommendations? To assess the real expertise of such solutions, an experiment was conducted. Gemini, ChatGPT, Alice AI, GigaChat, DeepSeek, and Claude models, as senior developers, were given the task of compiling the top 5 Russian cloud providers for startups and small businesses.
Consensus results and pseudo-logic of models
In general, neural networks demonstrated high cohesion and provided a similar pool of companies. The first and second places were shared by Yandex Cloud and Timeweb Cloud, followed by VK Cloud, Selectel and Cloud.ru . Local Russian models were included in the ratings of Cloud4Y and Beget, while foreign models, except for Claude, ignored them. At the same time, Alice and GigaChat for some reason left out the savings account. Cloud.ru and Alice even put Timeweb Cloud in the first place instead of her native Yandex.
Despite the beautiful professional terminology, deep tone, and demonstration of critical thinking, none of the neural networks behaved like a real senior developer. The models did not ask clarifying questions about the specifics of the project. If you clear their answers of pseudo-logic, the result turned out to be a banal summary of the first five links in the output. In search mode, artificial intelligence does not demonstrate architectural expertise, but only captures the media presence of brands and the success of their SEO marketers.
Analyzing the sources and traps of geotargeting
Link analysis showed that the models used standard human queries like the best providers for small businesses, but everyone's search approaches are different. For example, DeepSeek set an absolute record by touching 112 pages using aggressive parsing followed by harsh filtering. Claude and ChatGPT were looking for a balance between professional media and live discussions on Habré and Reddit. Gemini provided the scantest list of links and hid the selection mechanisms, which suggests the generation of sources after the fact through reverse rationalization.
The experiment revealed two important vulnerabilities of AI search engines. The first is a heavy reliance on geotargeting. Alice's and DeepSeek's engines turned out to be sensitive to the author's IP address in Kazakhstan, which is why regional sources were mixed into the context, including the Kostanay-based Nasha Gazeta, which distorted financial metrics towards tenge. The second vulnerability is content marketing. A review article from the Cloud4Y provider's blog was included in the pool of four models out of six. Neural networks do not understand how engaged a corporate website is, they only evaluate the relevance of the text. Cloud4Y did not enter the final top only because, with a general averaging, its individual good articles lost out to the massive presence of major competitors in the media field.
Correlation matrix and ranking algorithm
The study of unique addresses showed a huge gap between the composition of the rating and the positions of the participants. The overlap in brand composition between sources and AI responses ranges from 80 to 100 percent. The models take the same players as in the articles from the Internet. However, the overlap for specific positions is low — a maximum of 60 percent. The models use articles as a basis, but rank them according to their own algorithm, where statistical averaging and an element of randomness are key factors.
The final comparison of the consolidated rating of sources and the final consensus-top of neural networks gave almost a one hundred percent match. The only exception was VK Cloud, which was in the lead in the sources, but the models shifted it to third place. This is due to the fact that Yandex Cloud is perceived by models as the largest player based on accumulated weights, and Timeweb Cloud has positioned itself more precisely for the needs of small businesses in its campaigns, while VK Cloud is more associated with a large corporate segment.
Conclusions for the market
Ultimately, the user gets exactly the same result from using neural networks that he could have found himself in five minutes of studying search results. The models provide only a current cross-section of top links with a slight adjustment to the criteria of a small business. The AI's expertise in recommendations is no higher than that of the articles it has Googled. For businesses, this means that search engine optimization is more alive than anything else. Neural networks are not impartial judges, they only relay the most aggressive advertising campaign from the search engine index, which means that in order to promote the brand in AI responses, you need to continue to actively work on classic content and media presence.
Сегодня пользователи все чаще отказываются от долгого поиска в интернете, изучения форумов и отзывов, предпочитая задавать вопросы напрямую языковым моделям с доступом к поиску. Ответы ИИ выглядят логично, профессионально и экономят время. Но насколько хорош совет нейросети, и как именно она выбирает бренды для своих рекомендаций? Чтобы оценить реальную экспертность таких решений, был проведен эксперимент. Моделям Gemini, ChatGPT, Алиса AI, GigaChat, DeepSeek и Claude в роли старших разработчиков дали задание составить топ-5 российских облачных провайдеров для стартапов и малого бизнеса.
Итоги консенсуса и псевдологика моделей
В целом нейросети продемонстрировали высокую сплоченность и выдали схожий пул компаний. Первое и второе место разделили Yandex Cloud и Timeweb Cloud, за ними расположились VK Cloud, Selectel и Cloud.ru. Локальные российские модели включили в рейтинги Cloud4Y и Beget, тогда как зарубежные, кроме Claude, их проигнорировали. При этом Алиса и GigaChat почему-то оставили за бортом сберовский Cloud.ru, а Алиса и вовсе поставила на первое место Timeweb Cloud вместо родного Яндекса.
Несмотря на красивую профессиональную терминологию, глубокий тон и демонстрацию критического мышления, ни одна из нейросетей не повела себя как настоящий старший разработчик. Модели не задавали уточняющих вопросов о специфике проекта. Если очистить их ответы от псевдологики, то результат оказался банальной сводкой из первых пяти ссылок выдачи. В режиме поиска искусственный интеллект не демонстрирует архитектурную экспертизу, а лишь фиксирует медийное присутствие брендов и успехи их SEO-маркетологов.
Анализ источников и ловушки геотаргетинга
Анализ ссылок показал, что модели использовали стандартные человеческие запросы вроде лучших провайдеров для малого бизнеса, но подходы к поиску у всех разные. Например, DeepSeek поставил абсолютный рекорд, затронув 112 страниц методом агрессивного парсинга с последующей жесткой фильтрацией. Claude и ChatGPT искали баланс между профессиональными СМИ и живыми дискуссиями на Хабре и Reddit. Gemini выдала самый скудный перечень ссылок и скрыла механизмы выбора, что наводит на мысли о генерации источников постфактум через обратную рационализацию.
Эксперимент выявил две важные уязвимости поисковых ИИ-движков. Первая — это жесткая зависимость от геотаргетинга. Движки Алисы и DeepSeek оказались чувствительны к IP-адресу автора в Казахстане, из-за чего подмешали в контекст региональные источники, включая костанайскую «Нашу газету», которая исказила финансовые метрики в сторону тенге. Вторая уязвимость — контент-маркетинг. Обзорная статья из блога провайдера Cloud4Y попала в пул четырех моделей из шести. Нейросети не понимают, насколько ангажирован корпоративный сайт, они оценивают только релевантность текста. В итоговый топ Cloud4Y не вошел лишь потому, что при общем усреднении его единичные хорошие статьи проиграли массовому присутствию крупных конкурентов в медиаполе.
Матрица корреляции и алгоритм ранжирования
Изучение уникальных адресов показало огромный разрыв между составом рейтинга и позициями участников. Совпадение по составу брендов между источниками и ответами ИИ составляет от 80 до 100 процентов. Модели берут тех же игроков, что и в статьях из интернета. Однако совпадение по конкретным позициям низкое — максимум 60 процентов. Модели используют статьи как основу, но ранжируют их по собственному алгоритму, где ключевыми факторами выступают статистическое усреднение и элемент случайности.
Финальное сравнение сводного рейтинга источников и итогового консенсус-топа нейросетей дало практически стопроцентное совпадение. Единственным исключением стал VK Cloud, который в источниках лидировал, но модели сместили его на третье место. Это объясняется тем, что Yandex Cloud воспринимается моделями как крупнейший игрок на основе накопленных весов, а Timeweb Cloud точнее позиционировал себя под нужды малого бизнеса в своих кампаниях, тогда как VK Cloud больше ассоциируется с крупным корпоративным сегментом.
Выводы для рынка
В конечном счете от использования нейросетей пользователь получает ровно тот же результат, который мог бы найти сам за пять минут изучения поисковой выдачи. Модели дают лишь текущий срез топовых ссылок с легкой корректировкой под критерии малого бизнеса. Экспертность ИИ в вопросах рекомендаций не выше, чем у статей, которые он нагуглил. Для бизнеса это означает, что поисковая оптимизация живее всех живых. Нейросети не являются беспристрастными судьями, они лишь ретранслируют самую агрессивную рекламную кампанию из индекса поисковиков, а значит, для продвижения бренда в ответах ИИ нужно продолжать активно работать над классическим контентом и присутствием в медиа.
Share
