Максим Котёнков: SEO и AI-автоматизация

Я собрал 15 000 промптов через парсинг интерфейса ChatGPT на русском и английском. Это 15 ГБ данных. Делюсь главными выводами. Надеюсь, для GEO-экспертов не секрет, что есть 2 слоя: ▪️ поиск кандидатов через веер уточняющих запросов ▪️ отбор доменов и URL-адресов для цитирования — дальше буду называть это цитированием Самая сильная метрика, по которой сайт попадает в цитирование, — это его изначальная позиция в слое поиска кандидатов. То есть отдельная система ChatGPT находит набор кандидатов и ранжирует их внутри себя. Затем LLM формирует ответ на их основе и чаще всего берет для этого первые результаты из этого слоя. А не уходит искать "экспертный бренд". И вот что сильнее всего связано с позицией в поиске кандидатов ВАЖНО: взаимосвязь не равна влиянию. Это может быть прокси-влияние через другой фактор. 1. Максимальная релевантность сниппета URL-адреса основному запросу или веерному уточняющему запросу. 2. Текстовая релевантность заголовков страницы запросам. 3. Там, где важна свежесть материала, она действительно важна :) Прокси метрика это или нет, похуй. Это логично и нормально. 4. Частота попадания в поиск кандидатов по веерным запросам влияет на среднюю позицию домена. Вот тут я считаю, что это как раз прокси взаимосвязь, так как чем больше у сайта релевантных URL-адресов, тем выше вероятность, что среди них окажется максимально подходящая страница. 5. Соответствие типа страницы намерению запроса. Как говорится, хороша ложка к обеду. Остальные факторы показывают настолько слабую корреляцию, что в Telegram-посте на них нет смысла останавливаться. Про тематическое соответствие домена запросам Мой вывод: выгоднее делать контент тематическими кластерами и покрывать тему узкими страницами, но без фанатизма. ВАЖНО: это не про фактор экспертности бренда, а про то, что такой подход повышает вероятность быть найденным по узким уточняющим запросам, попасть в нужные типы страниц. Если че это я сам написал такой оборот "это не про то, а это про это". не ChatGPT. Но самое главное в GEO и AEO — не просто добиться того, чтобы URL-адреса вашего сайта использовались в цитатах. Главное — чтобы ваш бренд или продукт попадал в тело ответа как решение задачи пользователя. А это уже совсем другая задача. Выводы делайте сами. Я поделился тем, что видно на данных.

Год назад были судебные слушания над Google, где выступали челы из OpenAI. Прямая цитата: «Наша цель — и это была очень амбициозная цель, к которой мы пока и близко не подошли, — обслуживать около 80% нашего трафика из нашего собственного first-party индекса. Мы считаем, что 100% в долгосрочной перспективе достижимо, но это настолько далеко и настолько неопределённо, что это нельзя превратить в операционную цель — даже для группы умных людей, которые амбициозны и верят, что могут сделать невозможное». Ну короче, они попытались, у них нихуя не получилось. Даже если Google даст им сейчас все сайты из свой базы, то им нужно будет 5 лет, чтобы сделать из этого нормальную систему. И скорее всего пока они и не будут пытаться. Решение суда — Google обязан будет делиться данными Google признан монополистом и должен будет делиться данными с другими компаниями https://www.justice.gov/atr/media/1421546/dl?inline=. В том числе real-time API(s) их SERP, как он это делал бы и для обычных людей. Ну, короче суд обязал их сделать официальное API Google поиска и поделиться кучей данных из индекса. В мае 2026 года Google подавал на апелляцию, которую отклонили и дали им несколько месяцев для завершения.

Есть ли свой индекс у ChatGPT и какого он размера? Вообще не трогаем тему обучения моделей и ответ чисто из ее весов. Исключительно про поиск по базам URL. Почему ChatGPT, а не Claude или Перплексити? Потому что для 80% населения земли AI = ChatGPT. И у него несравненная доля рынка с другими системами. Что говорит о создании индекса: - Поведение ботов OpenAI часто похоже на краулеры, которые обходят страницы сайта. - Пересечение с Google выдачей падает. С BING пересечение давно крайне низкое. Мини-эксперимент, который показывает, что ChatGPT использует сторонних SearchAPI провайдеров Я взял супер редкий поисковый запрос — найди курсы по "продажи seo услуг", по которому явно должен быть мой сайт. Я убедился заранее, что OpenAI боты не посещали эту страницу и по логике индекса они не должны были быть найдены — https://skr.sh/sbx4fNQwTl1. С момента создания нового сайта школы там стоял счетчик мониторинга визитов AI ботов, который трекает их по IP и User-Agent. Но эта страница есть в Google https://skr.sh/sbxTfqMtwr0 в индексе. Простое и логичное объяснение — GPT ходит в Google. Далее нормальное исследование на 3 тысячах промтах И недавно я спарсил несколько тысяч промптов через скрейпер чата и параллельно делал запросы в Google с тем же ГЕО, проверял мобильные и десктопные выдачи, учитывал fan out если он был у chatgtp. Результаты пересечений Google∩ChatGPT получились на том же уровне, что получают практически все в своих исследованиях в последнее время. В зависимости от ГЕО, типа запроса — между 30-60%. Дополнительные SearchAPI Далее я начал экспериментировать еще больше с промптами, пробовал джелбейки, пока не получил промпт, который банальный, но он очень похож на то, что я получаю в парсингах ChatGPT поиска в чате. Посмотрите скриншот — https://skrinshoter.ru/sbxUZef01jK. Сайты которые я там отметил, как Google — выдаются в Google SERP по тому же ГЕО. В нем вырисовывается примерно такая логика поиска: выполнить поиск в Google, выполнить поиск в Wiki и Arxiv.org для сбора дополнительных источников Если напарсить много промптов и потом посчитать, какие сайты чаще всего цитируются, то мы получим: Reddit, YouTube, Arxiv.org (если по промптам важны были исследования) и прочие сайты, у которых есть свой хороший поиск по ним. Недавно смотрел сериал, где ГГ реально использует Reddit как поисковую систему, чтобы найти мнения людей по его проблемам. Испытал небольшой культурный шок. Объяснение логики по сравнению с Google AIO Если Google AIO идет просто в Google поиск и формирует ответы с него, то ChatGPT начинает использовать несколько поисковых систем для поиска информации. Скорее всего, похожее поведение и у Google AI Mode. Выводы Факт 1 — ≈50% выдачи пересекается с Google. Факт 2 — ≈25-30% объясняется сторонними API. В подтверждение собственного веб-индекса остается ≈25-30% URL, где я уверен, что часть объясняется ошибками исследований из-за черных ящиков, которые мы можем только предполагать, какая-то часть кэшем ранее спаршенных сайтов. И как по мне самое простое объяснение тут такое: OpenAI наобещали ебучие золотые горы инвесторам, и им нужно участвовать в гонке мощностей для обучения ИИ. У них нет ресурсов, чтобы сейчас строить систему для аналога веб-индекса Google, так как это еще одна куча мощностей. Скорее, свой аналог индекса Google — это пока сайд-проект, который развивается фоном.

Я знаю ответ. Мне нужно мнение аудитории.

Простой эксперимент, чтобы понять слабости косинусной близости эмбеддингов для некоторых задач SEO и на этом перестану наливать духоты про косинусы Что тут на скрине: 1. Результат поиска по запросу «как выбрать ноут для удаленки», где на вход идут 2 идентичных текста, отличающихся абзацем, который меняет смысл. Тексты кину в комментарии. В одном случае про офис (нерелевантный), а второй про удаленную работу (релевантный). 2. Числовые оценки — это уровень релевантности двух текстов. Дельта для подсветки силы алгоритмов. Лексические алгоритмы не могут найти разницу, так как в тексте у меня «удаленная работа», а в поисковом запросе «удаленка». Оставим их в покое. Если бы у меня была база синонимов, которую собирают Яндекс и Google, то они бы справились в поиске релевантного текста. Самый прикол — это то, что косинусная близость эмбеддингов посыпалась на относительно небольших текстах, где четко есть один абзац, который задает контраст смысла про удаленку. И, казалось бы, по логике должна случиться векторная магия, но, увы, ее нет. Дельта 0,0085 — это в 65 раз хуже, чем Cross-Encoder. Косинусные алгоритмы начинают работать, если делить текст на фрагменты (абзацы, предложения) — на рис. смысловые сходства по предложениям и фрагментам. В защиту косинусов Косинусы — это удобно, так как вы можете заранее все навекторизовать и хранить в БД (в отличие от Cross-Encoder алгоритма), и когда юзер идет с запросом, то уже можно делать вектор его запроса, искать по БД, вытаскивать тексты, фрагменты, сниппеты по теме и уже доранжировать их. Ну, собственно, как и работают RAG-системы, как они участвуют в алгоритмах Яндекса и Google. Есть еще куча задач, где косинусы применимы и эффективны. Но это не волшебный алгоритм понимания смыслов.

Дополню немного по косинусной близости эмбеддингов, чтобы лучше прояснить свою позицию Где это хорошо 1. Из кучи релевантного и не релевантного найти релевантное, чтобы потом доранжировать это. 2. Найти синонимы поисковых запросов, близкие термины, чтобы их потом также доранжировать чем-то другим. Где это плохо 1. Искать что-то релевантное, где и так все релевантно. 2. Оценивать релевантность больших фрагментов — типа страница к странице, вектор сайта к вектору семантики. Косинусная близость ломается, когда данных слишком много, когда векторизуются большие фрагменты обо всем. Она хорошо работает для того, чтобы найти что-то "близкое и тематичное", но для более менее хорошей оценки релевантности нужно использовать доранжирование.

Страницы которые цитируются в AEO реально имеют лучшие релевантные фрагменты и какими методами релевантности это можно определить эффективно в Яндекс и Google? Для анализа взял две выборки: 1. ТОП-30 2. ТОП-10 С разделением на процитированные URL и не цитированные (внутри топа), учитываем квери фан аут и очищаем данные от url которые не дают чанки (видео, короткие посты в соц. сетях и так далее). А дальше отвечаем на вопросы: 1. Страницы, которые цитируются в AEO, реально имеют лучшие релевантные фрагменты? 2. Если анализировать SERP и искать страницы с сильными фрагментами, какой метод релевантности выбирать: TF-IDF, BM25, token overlap, embeddings или cross-encoder? Какие методы рассматриваем: Semantic cosine — cosine-близость embedding поискового запроса и чанка страницы. Cross-encoder rerank — локальная модель переоценивает пары query ↔ top-N semantic chunks и выбирает лучший чанк Token overlap — долю токенов запроса, найденных в чанке BM25 norm — BM25-like релевантность чанка к запросу с IDF и нормализацией длины TF-IDF cosine — cosine-близость TF-IDF векторов запроса и чанка 😐 Тут сразу спойлер косинусная близость эмбеддингов чанков самый слабый метод, которые не показывает ничего. Передаю право на ответ для ChatGPT 5.5 из IDE Codex: Короткий ответ: да, цитируемые страницы чаще имеют более релевантные фрагменты. Но разница не огромная. Это важно правильно интерпретировать. В топе выдачи большинство страниц уже неплохо релевантны запросу. Поэтому мы не видим разницу “релевантно против нерелевантно”. Мы видим более тонкую вещь: среди уже релевантных страниц AI чаще цитирует те, где есть чуть более точный фрагмент под намерение пользователя. Лучше всего это видно через cross-encoder. В общем срезе цитируемые домены выигрывают примерно на +0.088 по шкале 0..1. Внутри ТОП-10 разрыв остаётся: около +0.068. Это не “+8.8% релевантности”. Это плюс 0.088 пункта score. Но среди страниц, которые уже находятся в поисковом топе, такой разрыв выглядит вполне значимым. По Google картина такая: внутри ТОП-10 лучше всего работает cross-encoder. Он даёт разницу около +0.058. TF-IDF и token overlap тоже дают сигнал, но слабее. А вот semantic cosine по embeddings почти не помогает: он даже слегка уходит в минус. Semantic cosine ловит примерный смысл, а нужно уметь отличать фрагмент, который действительно отвечает на запрос. По Яндексу важнее учитывать Query Fan-Out. В общем ТОП-30 с учётом веера цитируемые домены выигрывают по cross-encoder, token overlap, TF-IDF и semantic. Но внутри ТОП-10 сигнал становится тоньше: лучше всего держится token overlap, потом cross-encoder. Semantic почти плоский. Что это значит практически? Если нужно быстро искать потенциально сильные страницы в SERP, я бы не ставил на один метод. Мой порядок такой: Cross-encoder — лучший метод для финальной оценки фрагмента. TF-IDF и token overlap — хорошие простые сигналы, особенно когда важны точные формулировки запроса. Embeddings cosine — хороший первичный фильтр для облегчения работы Cross-encoder, но слабый финальный аргумент. Главный вывод исследования: AI-цитирование связано не только с позицией сайта в выдаче. У процитированных страниц чаще есть более точный текстовый фрагмент под поисковое намерение. Но в ТОП-10 разница небольшая: все уже примерно релевантны, а цитируемые просто чуть лучше попадают в смысл и формулировку запроса. Я потом запишу видосик на Ютуб где детальнее все расскажу. Пока выводы буду постить выводы без ухода прям в нюансы. Вывод 1 Мой вывод по этой части исследования такой — AEO работает как обычный RAG поисковик с реранкером (cross-encoder пары запрос-чанк) по уже релевантной к запросам базе SERP. Вывод 2 Не ебите себе мозг косинусной близость это очень слабый показатель релевантности, который обходит даже простое вхождение лемм из запросов. Я как то писал пост про то, что делал себе тестовый поисковичок https://t.me/seokotenkov/669 для курса по текстовой релевантности для классического поиска так там аналогично косинусная близость самая пососная штука для поиска релевантных документов и фрагментов страниц.

С днем фрилансера, друзья! В честь праздника мы вместе с моими друзьями из Yagla и коллегами по дижитал цеху решили собрать подборку из 20+ топовых каналов про бизнес, digital и все что с этим связано🔥 👉 Подборка здесь Что внутри? → каналы экспертов по маркетингу, PR, контенту, SEO, платному трафику → digital-компании со своими медиа → блоги владельцев digital-агентств, топ-менеджеров и CEO компаний Вас ждут актуальные новости и тренды, экспертиза от практиков индустрии, лайфхаки и успешные кейсы. Одним словом, много-много пользы для всех, кто связан с рынком digital. 🎁 А еще чуваки из Yagla подготовили для вас бесплатный гайд: → 5 креативных механик и сценарий вирусного ролика Зачем вам эта подборка? Подписаться, полистать каналы, оставить несколько по интересу и расширять кругозор. 👉 ЗАБРАТЬ ПОДБОРКУ

Но тут вы можете возразить: «тих-тих-тих, причем тут Google и такая умная система, как ChatGPT?» Для примера — вот 3 чата с ChatGPT, где я просил выполнить веб-поиск по запросу и параллельно делал запросы в API Data for SEO по тому же запросу. Очень важно! Если попробуете повторить такое же, учитывайте локацию подключения к ChatGPT и регион запроса в API Data for SEO, так как ChatGPT ориентируется на вашу локацию. Вот пример 3 запросов. Берем 6 выдач и смотрим, сколько доменов пересекается: 1. «как выучить пайтон бесплатно» — пересечение результатов поиска ChatGPT и Google: 9/10 2. «онлайн курсы по маникюру» — пересечение результатов поиска ChatGPT и Google: 8/9 3. «купить наручные часы тисот» — пересечение результатов поиска ChatGPT и Google: 9/10 Дальше. Возьму промпт (с предварительно выключенной персонализацией): «Я хочу выучить пайтон бесплатно. Найди мне ресурсы, где бы я мог это сделать.», получу нормальный анализ сайтов от ИИ и сравню с выдачей, которую получал до этого. Итоговое пересечение цитируемых и упоминаемых брендов с обычной поисковой выдачей получается примерно 67 % и это без query fan out. И что мы имеем? А имеем мы следующее, что когда мы будем изучать сайты, которые ChatGPT цитирует, то мы увидим у них и свежесть контента и что ссылок на эти сайты обычно много и так далее, что будет пересекаться с факторами ранжирования Google. Я не говорю, что Сhatgpt это тупо прослойка по Google. Это скорее "Системный промт ассистента" + "веб поиск", который стремиться сформировать из найденной в сети информации ответ, но из-за того что в качестве веб поиска он использует Google, то практически все что справедливо для сайтов в Google будет справедливо и для цитируемых URL в ChatGPT.

Проблема GEO/AEO-исследований на примере популяций зайцев и лис Есть три случайные величины: 1. Плотность травы в лесу. 2. Популяция зайцев. 3. Популяция лис. Прямые закономерности и влияние через пищевую цепочку: трава — зайцы — лисы. Если мы возьмем две величины — «трава» и «лисы», — то между ними мы сможем найти закономерность, но фактически она проходит через промежуточную величину «зайцы». И если мы из этой цепочки уберем зайцев, то трава не будет влиять на популяцию лис, какой бы сильной корреляция ни была до этого. Так и в GEO/AEO-исследованиях по сути всё, что влияет на положение сайта в SERP, можно подвести к влиянию на GEO/AEO. Например, по этому принципу можно найти влияние ссылок на ChatGPT, влияние свежести контента и так далее.