Вопрос по nginx

средствами/настройками/дополнениями nginx, как отследить большое кол-во обращений к страницам сайта (.php, .html, но не .jpg) в короткий промежуток времени (к примеру 1000 запросов за 5 минут) и заблокировать ип бота?

Вроде никак. Ты можешь ограничить только число паралельных запросов с одного ип, но сумму запросов за период не получится.

а почему не хочешь лог анализировать?
за опр-ный пормежуток времени выщемить бота должно быть просто по кол-ву обращений

FreeMann писал:

а почему не хочешь лог анализировать? за опр-ный пормежуток времени выщемить бота должно быть просто по кол-ву обращений

так это постоянная сторонняя нагрузка по крону получится?
я чего и спрашивал, может есть в самом nginx готовые средства

nginx как прокси-сервер достаточно примитивен, если у тебя более-менее серьезные запросы - varnish твой лучший друг. Там целый язык для описания обработки запросов, который потом в C компилируется Вот по подобному твоему запросу пост:

http://blog.dansingerman.com/post/4604532761/how-to-block-rate-limi…th-varnish

Не так уж nginx и примитивен, в нем есть perl, и это все тоже можно сделать без особых проблем.

А ничего, что встроенный perl блокирует весь процесс на время исполнения, и это при том, что скорость интерпретатора несравнима со скоростью родного кода? Не боишься, что на нагруженном сайте за такое руки оторвут?

iptables поможет ограничить одновременное количество запросов с одного IP.

Например так:

Код:

iptables -A INPUT -p tcp -syn --dport 80 -m connlimit --connlimit-above 10 -j REJECT

Это ограничит количество одновременных сессий до 10. Способ удобен тем, что трафик не тащится в userspace, а отбивается еще на уровне ядра.

Можно ограничить интенсивность запросов. Например, не более 10 запросов в минуту. Для этого есть модуль recent.

Dr.Syshalt писал:

nginx как прокси-сервер достаточно примитивен, если у тебя более-менее серьезные запросы - varnish твой лучший друг. Там целый язык для описания обработки запросов, который потом в C компилируется Вот по подобному твоему запросу пост: http://blog.dansingerman.com/post/4604532761/how-to-block-rate-limi…th-varnish

сенкс, почитаю!

lega_cobra писал:

iptables поможет ограничить одновременное количество запросов с одного IP. Например так: Код: iptables -A INPUT -p tcp -syn --dport 80 -m connlimit --connlimit-above 10 -j REJECT Это ограничит количество одновременных сессий до 10. Способ удобен тем, что трафик не тащится в userspace, а отбивается еще на уровне ядра. Можно ограничить интенсивность запросов. Например, не более 10 запросов в минуту. Для этого есть модуль recent.

вот это уже интереснее по снижению нагрузок, но если поставить ограничение запросов, то ответа от сервера не будет вообще, а надо бы оповестить пользователя о блокировке...
как вариант в голову пришло, делать редирект на отдельный порт nginx, где будет настроен ответ, или я неверно мыслю и так не получится?

ibiz писал:

вот это уже интереснее по снижению нагрузок, но если поставить ограничение запросов, то ответа от сервера не будет вообще, а надо бы оповестить пользователя о блокировке...

Ну вот еще, он тебя бомбит запросами, а ты ему еще вежливо отвечать будешь.

Цитата:

как вариант в голову пришло, делать редирект на отдельный порт nginx, где будет настроен ответ, или я неверно мыслю и так не получится?

По достижению лимита можно делать любые действия, в том числе и редирект на другой порт.

попробовал, вроде работает через iptables как надо, но большим минусом является то, что надо делить статические файлы, типа картинок и скрипты по разным серверам, иначе после загрузки 1000 тумб за 5 минут блокируется пользователь

Dr.Syshalt писал:

А ничего, что встроенный perl блокирует весь процесс на время исполнения, и это при том, что скорость интерпретатора несравнима со скоростью родного кода? Не боишься, что на нагруженном сайте за такое руки оторвут?

Не боюсь.
Все что пишу это только из практики, nginx совмесно с pf таким образом отлично отражает ddos среднего уровня. Ну даже кроме того что ты и я написал есть множество сбособов прикрыть это, тут главное знания и опыт.

adminZ писал:

Не боюсь. Все что пишу это только из практики, nginx совмесно с pf таким образом отлично отражает ddos среднего уровня. Ну даже кроме того что ты и я написал есть множество сбособов прикрыть это, тут главное знания и опыт.

Ну так можно и mod_perl к апачу пристроить, ddos "среднего уровня" отражать. А знания и опыт подразумевают использование подходящих средств к нужной ситуации, а не так, что если у тебя молоток только, и умение лишь его использовать, то вокруг одни гвозди мерещатся.