Перейти к содержимому

Называют ли вас ассистенты

Вы хотите знать, советуют ли ваш продукт ChatGPT и остальные. Спрашиваете одного из них один раз, он называет кого-то другого, и непонятно, значит ли это хоть что-нибудь.

Я сделал эту проверку как следует на своём голосовом боте: одни и те же десять вопросов, те же шесть ассистентов, с разницей в неделю. Процедура тут важнее моего результата, потому что один ответ не говорит почти ничего.

  1. Писать вопросы так, как их набирает пользователь. У меня их было десять, на двух языках, вроде «как отправить текст голосовым сообщением в телеграм». На каждый из них отвечает мой продукт. Названия бренда нет ни в одном.
  2. Зафиксировать формулировки и больше их не трогать. Положите список в файл. На втором прогоне вставляете его без изменений, иначе вы сравниваете два разных теста.
  3. Спрашивать из чистого браузера, без входа. Ассистент под вашим аккаунтом знает вашу историю и ваш сайт, поэтому показывает вам больше вас самих, чем увидит посторонний. С выдачей поиска то же.
  4. Определить упоминание до того, как смотреть. У меня оно строгое: домен или @ник бота в ответе либо в карточках источников. Одно название продукта без домена не встретилось ни разу.
  5. Записывать каждую ячейку, отказы тоже. Десять вопросов на шесть ассистентов — 60 ячеек. Для каждой храните полный текст ответа, скриншот, время и кого назвали вместо вас.
  6. Повторить после изменения и сравнивать только суммы. Каждая ячейка — одна случайная вытяжка ответа, так что одна ячейка, перевернувшаяся из «нет» в «да», ничего не доказывает.
  • Двое из шести отказали гостю. Claude в оба дня показал страницу входа во всех 10 ячейках. Perplexity в день 0 ответил на 9 вопросов из 10, а в день 7 отказал в 9 из 10. То есть проверка идёт на четырёх ассистентах, если только не войти в аккаунт и не сломать шаг 3.
  • Читать изменение по одной ячейке. В день 0 Google назвал моего бота первым в двух своих ответах. Через неделю оба упоминания пропали, зато появилось новое в другом ответе. И тот же вопрос в двух заходах подряд давал разный список ботов.
  • Ждать эффекта за неделю. Я переделал страницы как раз под эти вопросы. Краулер поиска ChatGPT за неделю главную изменённую страницу так и не забрал, см. отредактированная страница ждёт следующего обхода.

Мои два прогона, 3 и 10 октября 2026.

АссистентОтветил, день 0 / день 7Упоминаний, день 0 → день 7
ChatGPT10 / 100 → 3
Perplexity9 / 10 → 1
Google AI Overview10 / 103 → 2
Google AI Mode10 / 101 → 0
Gemini10 / 100 → 0
Claude0 / 0без входа недоступен

Это 4 упоминания на 49 ответов, потом 6 на 41. Разница между двумя одиночными прогонами лежит внутри шума, поэтому я читаю её как «данных нет ни в одну сторону».

Что я всё-таки прочитал: в день 7 ChatGPT назвал бота ровно в тех вопросах, на которые отвечает новая статья-инструкция. Это указывает на статью, а подтвердить может только третий прогон тех же вопросов.

Предложить правку · Страница не помогла