Как запретить юзер агент?

через robots.txt не работает
через htaccess грузит проц
туплю, как можно еще запретить выкачивать сайт по юзерагенту без переписывания скриптов?

P.S. четвертый день выкачивают несколько сайтов по 10млн страниц Wget'ом

мож проще по ip запретить тогда ?

вообще в php есть такая настройка как запуск скрипта перед запуском любого php процесса . так вот в этот скрипт можно и запихать проверку USER_AGENT вроде называется "auto_prepend_file"

там сетки ипишников, но почти одинаковый юзерагент

добавь тогда файло перед выполнение php , и вырубай их

Цитата:

if ($http_referer ~ (maturetubefun|wget|hornymomsfuck)) { return 403; }

В нгинксовом прокси.

ibiz писал:

через robots.txt не работает через htaccess грузит проц туплю, как можно еще запретить выкачивать сайт по юзерагенту без переписывания скриптов? P.S. четвертый день выкачивают несколько сайтов по 10млн страниц Wget'ом

Поставь на сервер фаервол и бань те iP с которых более 1 запроса в секунду.

dlk44 писал:

Поставь на сервер фаервол и бань те iP с которых более 1 запроса в секунду.

Плохая затея.
Нынче большинство современных браузеров производят download сайта в несколько потоков.
Это значит что так побанишь много нормального народу.

+1 за вариант с nginx фронтендом, где можно запретить 'wget' юзер-агенты. Проц не грузит.

ibiz писал:

через htaccess грузит проц

А что ты туда пишешь?

PS wgetу можно написать любой UserAgent.