3. AI-поиск

Человек описывает ассистенту задачу и получает короткий список, где вас нет. В обычном поиске десять мест и прокрутка вниз, так что даже на слабой позиции вас можно найти. В ответ ассистента помещается несколько источников, и кто в них не попал, того нет совсем.

Здесь три страницы, по порядку.

AI-crawler и llms.txt — про доступ. Какие агенты бывают, кому они принадлежат, где на самом деле стоит блокировка — а стоит она часто вовсе не в robots.txt — и что писать в llms.txt.

Почему AI цитирует не вас — про текст. Ответ в начале, факты с датами, одно проверяемое утверждение. Такого утверждения больше ни у кого в выдаче нет.

Кто к вам на самом деле ходит — мои логи. Какие агенты приходили, что забирали и как редко кто-то спрашивал llms.txt. Свой лог я прочитал первым и только после этого поверил тому, что другие пишут про доступ и про то, кого цитируют.

Начинайте с доступа. Если вы не пустили crawler, он не увидит страницу, и тогда уже неважно, насколько хорошо она написана.