Как своими скриптами детесктить ботов?

Имеется ввиду хотябы поисковых ботов, всякого рода граберы тумб тех же CJ скриптов и прочих?

Куки от javascript не хватают. Ну большая часть в общей мере.

в плане SE ботов, чекеров, парсеров, краулеров и граберов тумб, можно проверять на
no images
no cookie
no js
no flash
HTTP_ACCEPT_LANGUAGE смотреть у se бота наверное один язык там. я предполагаю.
так же не думаю, что рефы, такие боты передают, хотя bind высвечивается, только только скрипт установишь и диз натянешь, уже появляется, в гугль то же браузер стучит.
ну и в user agent - искать соответствующие маркеры, выдающие поисковик.
Если бы был большой пул, данных по поисковым ботам, которые можно, по $_server снять, можно было бы выявить закономерность.
Ну и блексео в помощь, должны в открытом доступе, клоак скрипты быть, где можно, много идей позаимствовать.

для сео ботов есть отличнейший класс:
https://github.com/JayBizzle/Crawler-Detect

правильные боты загрузят только указанный .css

Последний раз редактировалось: IgorZ (17/01/18 в 11:57), всего редактировалось 1 раз

gcc: а как мониторить загрузку .css файлов? в какую сторону копать? jquery? Так то при таком варианте, достаточно знать будет ip и домен с которого пришел этот ip. И уже по % ip загрузивших нужный file1.css выделять хороших трейдеров или по % загрузивших оба или не загрузивших не одного, относительно к общему кол. трафа с этого домена выявлять % ботов так я понял?

Int13h: Я добавлял в .hatccess флаг php для конкретно контрольных css. Можно их и постфактум в логах считать при ротации например.

Остальное прмерно так, да.

Цитата:

загрузивших оба или не загрузивших не одного, относительно к общему кол. трафа с этого домена выявлять % ботов

Метод 10-летней давности если что но работает и сейчас частично..