99% трафика его сайта — машины. Панель аналитики этого не покажет никогда
Владелец каталога на 1,5 млн страниц год воевал с краулерами и выложил бухгалтерию. Цифры из серверных логов, а не из счётчика.
Неделя после публикации:
— 2,5 млн запросов, из них 1,28 млн загрузок страниц.
— В аналитике за ту же неделю — 5 977 просмотров.
— 214 машинных загрузок на одного человека.
— В счётчик попадает меньше 0,5% запросов: он считает только тех, у кого отработал JavaScript.
Дальше в отчёте идут имена:
— Claude-SearchBot за неделю июня: 420 680 запросов, 4,63 ГБ. Привёл 12 посетителей — 35 000 запросов на читателя.
— Amzn-SearchBot от Amazon: около 117 000 запросов в сутки. Посетителей ноль.
— 22 апреля: 3,6 млн запросов за сутки с 361 844 адресов. Cloudflare разобрал 1,18 млн вызовов за десять часов.
Теперь то, чего в панели аналитики не видно:
Хостинг обычно стоит ему около $90 в месяц, в пиковые месяцы счёт рос впятеро. Спасли девять правил в Cloudflare на тарифе Pro за $25: страны, user-agent, старые версии браузеров, частота запросов. Капчу теперь проходят 0,24% тех, кто в неё упёрся: 106 437 вызовов за двое суток и 252 решения.
Сделка изменилась. Раньше поисковый робот забирал текст и приводил людей. Теперь он забирает текст ровно для того, чтобы человек получил ответ в чате и на сайт не пошёл. Правило, к которому автор пришёл за год: краулер, который не присылает посетителей, идёт в бан.
Что с этим делать:
— Открыть серверные логи, а не панель аналитики. Расхождение будет в разы.
— Свести краулеры в таблицу: сколько запросов забрал, сколько посетителей привёл. Второй столбец пустой — кандидат на бан.
— Объявленные краулеры снимаются через robots.txt, остальное — правилами на периметре. И то и другое проверяется по логам, а не на слово.
⚠️ Где это не работает: бан краулеров отрезает не только расход, но и упоминания вашего товара в ответах чат-ботов. Для магазина это может стоить дороже хостинга. Считать надо по своей воронке, а не по чужой статье.
patronview.com/news/99-percent-of-my-website-traffic-is-bots
P.S. Утешение слабое, но контент точно кто-то читает. Просто потом не приходит.
💬 Подпишитесь на Telegram, если хотите ещё больше пользы
#разбор #для_бизнеса #нейросети
Владелец каталога на 1,5 млн страниц год воевал с краулерами и выложил бухгалтерию. Цифры из серверных логов, а не из счётчика.
Неделя после публикации:
— 2,5 млн запросов, из них 1,28 млн загрузок страниц.
— В аналитике за ту же неделю — 5 977 просмотров.
— 214 машинных загрузок на одного человека.
— В счётчик попадает меньше 0,5% запросов: он считает только тех, у кого отработал JavaScript.
Дальше в отчёте идут имена:
— Claude-SearchBot за неделю июня: 420 680 запросов, 4,63 ГБ. Привёл 12 посетителей — 35 000 запросов на читателя.
— Amzn-SearchBot от Amazon: около 117 000 запросов в сутки. Посетителей ноль.
— 22 апреля: 3,6 млн запросов за сутки с 361 844 адресов. Cloudflare разобрал 1,18 млн вызовов за десять часов.
Теперь то, чего в панели аналитики не видно:
Хостинг обычно стоит ему около $90 в месяц, в пиковые месяцы счёт рос впятеро. Спасли девять правил в Cloudflare на тарифе Pro за $25: страны, user-agent, старые версии браузеров, частота запросов. Капчу теперь проходят 0,24% тех, кто в неё упёрся: 106 437 вызовов за двое суток и 252 решения.
Сделка изменилась. Раньше поисковый робот забирал текст и приводил людей. Теперь он забирает текст ровно для того, чтобы человек получил ответ в чате и на сайт не пошёл. Правило, к которому автор пришёл за год: краулер, который не присылает посетителей, идёт в бан.
Что с этим делать:
— Открыть серверные логи, а не панель аналитики. Расхождение будет в разы.
— Свести краулеры в таблицу: сколько запросов забрал, сколько посетителей привёл. Второй столбец пустой — кандидат на бан.
— Объявленные краулеры снимаются через robots.txt, остальное — правилами на периметре. И то и другое проверяется по логам, а не на слово.
⚠️ Где это не работает: бан краулеров отрезает не только расход, но и упоминания вашего товара в ответах чат-ботов. Для магазина это может стоить дороже хостинга. Считать надо по своей воронке, а не по чужой статье.
patronview.com/news/99-percent-of-my-website-traffic-is-bots
P.S. Утешение слабое, но контент точно кто-то читает. Просто потом не приходит.
💬 Подпишитесь на Telegram, если хотите ещё больше пользы
#разбор #для_бизнеса #нейросети