Анализатор логов NGINX с ручным баном по домену хотлинкеров

Если существует подскажите готовый сабж:
Ставлю на сервер софт с веб GUI. В веб-интерфейсе наблюдаю, кто хотлинкует мой контент, как в стандартном каком-то анализаторе. Те кто мне не нравятся отмечаю галочками и они банятся по рефу через конфиг NGINX.

Не очень хорошая идея
Большим количеством правил можно нагнуть cpu

В прицепе на фрилансе можно заказать скприпт за $10
Который будет добавлять параметр в конфиг NGINX.
А потом в анализатор логов, в пилить кнопку на против рефа которая будет дергать скрипт



https://moonback.ru/page/nginx-hotlink-protection

Я со старта закрываю хотлинк, делов на 2 минуты

можно сделать еще круче

поставить asql

# apt-get install asql

в него сгружать логи
$ asql
asql> load /var/log/apache/access_log
Loading: /var/log/apache/access_log

Дальше через sql, на любимом языке программирования делать выборку согласно условия и формировать конфиг.

И все это будет ебашить по крону


asql> select count(id) from logs where request like '%client.cgi%'
5276

asql> select count(id) from logs where request like '%admin.cgi%'
9823

asql> select date, source, request from logs where source<>'127.0.0.1' and request like '%.js'
2018-08-05T12:43:01 102.40.2.37 /js/header.js
2018-08-05T12:43:01 102.40.2.37 /js/jquery.tablesorter.js
2018-08-05T12:43:01 102.40.2.37 /script.js

и через сколько сотен тысяч записей asql загнется?
like '%admin.cgi%'

Sterx писал:

и через сколько сотен тысяч записей asql загнется? like '%admin.cgi%'

Сколько то да выдержит, если денег принесет то ему за пилят по шустрей и по круче.

Для взрослых пацанов есть Elasticsearch
Но это уже не бюджет в $10, чтобы проверить идею.

Я сейчас как раз внедрю во внутреннем проекте связку logstash + Elasticsearch + kibana

Logstash это такая штука которая может логи из разных мест, перенаправить логи в другие разные места
Также он умеет писать bulk чтоб не положить Elasticsearch


Elasticsearch будет делать поиск и аналитику логов

В качестве морды Elasticsearch хочу попробовать Kibana

Последний раз редактировалось: Alexs (06/02/19 в 07:31), всего редактировалось 2 раз(а)

Alexs: чисто ради самообразованности, почему Elasticsearch, а не Sphinx, например?

S_Flash писал:

Alexs: чисто ради самообразованности, почему Elasticsearch, а не Sphinx, например?

Для той задачи думаю и PostgreSQL хватило бы.

Просто представилась возможность попробовать Elasticsearch.

К примеру Sphinx получилось попробовать, когда 2010году хлопнули 3fn (кто не помнит это был крупный хостер)

И все говно начало растекаться по округе.

Дабы не хватануть нехороших клиентов.
Мы индексировали содержимое виртуальных серверов, и прогоняли поиск на запрещенный контент.
Затея весьма гоморная, но по бырику мы смогли отсеять нехороших людей.