Недельный эксперимент с поиском, который может ответить

Что решаем

Вы что-то поменяли на сайте и хотите понять, помогло ли. Показы за неделю выросли, значит сработало — только они выросли и на страницах, которые вы не трогали.

Я запустил три стратегии разом на сайте своего голосового бота. Результаты — в кейсе. Здесь устройство, которое позволило неделе дать ответ, и места, где мои же данные чуть меня не обманули.

Шаги

1. Одна страница — одна группа. Если на странице две правки, никто не скажет, какая её сдвинула. Sitemap и список статей блога у меня были общими для всех групп, и я записал это как известное ограничение.
2. Держать контрольную группу. Страницы, которые вы не трогаете, показывают, что сайт сделал за неделю сам по себе. Моё правило: если контроль сдвинулся в ту же сторону в пределах 30%, эффект нулевой.
3. Записать правила вердикта до первой правки. У каждой группы три исхода — продолжать, бросить, не проверено, — и у каждого число. «Не проверено» требует своего условия. У меня это было «краулер не открыл изменённую страницу хотя бы за три дня до среза».
4. Мерить базу так же, как будете мерить тест. Первая база по переходам из ChatGPT у меня была 2,1 в день. Пересчёт по тому же логу тем же способом дал 1,4. Пороги я передвинул в тот же день, до выкладки.
5. Выкатывать по одному деплою и записывать минуту. Суточные данные не делят день пополам, поэтому день выкладки не входит ни в одно окно.
6. Собирать по расписанию, а не руками. Задача по расписанию каждое утро в 09:30 забирала Search Console, URL Inspection, access-лог и новых пользователей. Сырой вывод держите в постоянном месте.
7. Метить кнопку страницей, на которой она стоит. Мой сайт дописывает страницу в стартовую ссылку бота, и каждый новый пользователь несёт страницу, где нажал кнопку. До этого все статьи блога давали одну метку, и 8 пользователей за 60 дней не легли ни в одну группу.

Что не сработало

• Search Console запаздывает. 10 октября последним днём с данными было 6 октября. Моя «неделя» по метрикам поиска оказалась тремя днями.
• Считать визиты ChatGPT-User людьми. 205 из 216 запросов этого агента пришли на главную ровным темпом, от 9 до 19 в день. Похоже на автомат, и в вердикт эта цифра у меня не шла.
• Считать переходы посетителями. Запрос с меткой в логе — это загрузка страницы, а человек может быть один на несколько. Ботов по user agent я отфильтровал, и всё равно метод немного разошёлся с подсчётом базы.
• Хранить сырьё во временной папке. Выдача дня 0 лежала в /tmp. Машина почистила её до дня 7, и эта часть сравнения пропала.
• Ждать, что краулер приходит каждый день. Googlebot не забрал с сайта вообще ничего в 6 днях из 21, что есть в логе.

Проверить

Прежде чем смотреть на любой результат, письменно ответьте на четыре вопроса.

Вопрос	Мой ответ 3 октября
Какие страницы в каждой группе и какие в контроле?	3 группы по 4, 3 и 8 URL, плюс 7 URL контроля
Какое число значит «продолжать» для каждой группы?	записано по группам, с порогами
Какое условие у «не проверено»?	краулер не открыл изменённую страницу
Где лежит сырьё после недели?	папка вне /tmp, хранится до 31 октября

Если хоть одна строка пустая, неделя даст вам ощущение вместо ответа.