Как защитить сидж от хитботов?

сабж

Пятый раз уже вроде повторяю

http://awm.all-sex-links.com/

Там Трафик-фильтр. Фильтрует нокуки, ноява - т.е. хитботов.

Для сиджа его доработать малось надо, чтобы он передавал реф. Никак у меня руки не доходят

RewriteRule ^.*$ http://www.google.com [L,R]

Видел я этот скрипт - но немогу я его доработать - знания непозволяют
А ещё какие-то варианты?

1. Отсекать нокуки, ноява (как сказал Pentarh).
Но! Я уже натыкался и на "умных" ботов, кушающих куки и понимающих яву (однако кликающих по скрытой ссылке).
2. Ставить скрытые ссылки на "банн-функцию". Т.е. линк на пустой пиксе, или закрытый сверху прозрачным слоем, или на "хиден-слое" -- так, что реальный серфер при всем своем желании кликнуть не сможет. Бот, который парсит страницу кликает запросто и попадает на "автобанн".
3. Считать количество кликов в единицу времени.
4. Считать максимальное количество кликов. (не может реальный серфер прокликать всю страницу... вообще-то может, если идиот).
5. ... подумать надо ...

sAx писал:

1. Отсекать нокуки, ноява (как сказал Pentarh). Но! Я уже натыкался и на "умных" ботов, кушающих куки и понимающих яву (однако кликающих по скрытой ссылке).

Делаешь два кука. Один просроченный, другой нормальный. Если в ответ приходит два или ни одного - хитбот.

А вот чтобы яву хавал.... таких не видел еще...

Ну, куки это несерьезно. Слишком легко. Ява или скрытые ссылки сложнее, но можно реализовать при желании...

Наверное, нужно смотреть на расхождение статистики от среднего...

sAx:
Так вот я и спрашиваю как отсекать нокуки и ноява?
может кто скриптом поделится ?

И вообще куда восновном хитбот кликает ?

Дело в том, что чтобы этот скрипт сохранял рефера, надо его под каждый отдельновзятый сидж настраивать. Переменная "From" у всех разная а у некоторых ее вообще нету. Вот он и лежит такой себе недоделанный.

Как настроить? При первом проходе запоминаешь эту переменную, потом ее просто передаешь при первом редиректе на самого себя же. Ну а при достижении точки, до которой хитботы не доходят, делаешь еще один редирект с указанием этой переменной на морду.

А еще лучше в кукис ее записывать.

Кстати, этот скрипт похоже не только хитботов, но и гугльботов посылает нахуй Можно конечно обратный клоакинг делать - гугльбота вычислять и пропускать без тестов.

Люди добрые подскажите как его под ucj-с настроить
Вообще меня уже читеры достали.....

Цитата:

SadBoy: Ну, куки это несерьезно. Слишком легко. Ява или скрытые ссылки сложнее, но можно реализовать при желании... Наверное, нужно смотреть на расхождение статистики от среднего...

Можно поподробнее ?

У меня непример все кто попадает на скрытые линки (1px gif без беграунда) сразу банятся путём
deny from ____IP_____ в .htaccess
а как ещё можно?

например путём задания кол-ва кликов если чел пришёл без HTTP_X_FORWARDED_FOR то для него 1 значение если с ним то другое

Можно так или нет?

Трюки вроди Nocookie и NoJava довольно примитивны, но против тупых ботов катят. Со скрытыми линками - тоже старый трюк... Анализ - тоже дело непростое, непонятно где проводить черту между ботом и не ботом? какие допуски делать?

А вот чем-то новеньким никто похвастаться не может?

PS тикеты не предлагать

Jark писал:

Трюки вроди Nocookie и NoJava довольно примитивны, но против тупых ботов катят. Со скрытыми линками - тоже старый трюк... Анализ - тоже дело непростое, непонятно где проводить черту между ботом и не ботом? какие допуски делать? А вот чем-то новеньким никто похвастаться не может? PS тикеты не предлагать

Думаю я могу кое-что предложить, если тестером будешь
http://www.dfservice.com/ca/index.html.ru.htm

А можно мне тестером? Буду только за. И СиДж у меня всеравно простаивает без дела...

наверное нет универсального лекарства для вычисления хитбота.
лучьше всего всё же на мой взгляд делать побольше именованных линков и смотреть распределение кликов, паралельно контролируя % прокси в трафе.

тут только одна очевидная проблема это размешанный траф. то есть реальный+хитбот.
очень трудно вычислить.
но так или иначе мне лично надёжнее всего рассматривать логи :)

в логе смотреь
1. рефер
2. распределение кликов по линкам.
3. ip in
4. ip out
5. гео состав трафа.
6. % прокси.

при достаточной сноровке хитбот видно через несколько секунд после просмотра лога :)

2 Ded:
"я не вижу цифры, я вижу брюнетку, блондинку" (с) из матрицы )

Underground писал:

А можно мне тестером? Буду только за. И СиДж у меня всеравно простаивает без дела...

стучись!
Возьмем еще пару тестеров. Если ваш скрипт Top/CJ популярный и на них уже не работает наша система.

сорри, повтор вышел.