С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
 Добавлено: 22/01/12 в 00:10 |
Проблема нарисовалась несколько месяцев назад и прогрессирует.
на моих ресах стоят CJ скрипты, котрые не используются массово.
меня все устраивало. до тех пор пока не обнаружил что с норефа идет большое кол-во ботов. портит статсу сильно.
начал смотреть - боты идут с трейдоров кто поставил ftt2. причем в очень большом кол-ве, у меня это по несколько K в день.
стоит там чекалка, которая как я понял периодически подгружает сайт и проверяет на наличие трейда. как я понимаю она стоит по дефолтным настройкам и люди даж не подозревают что она у них есть.
обратился к сапорту
мне предложили добавить в самом начале шаблона, до подключения ина скрипта сиджа такие строки на пхп:
if(strtoupper(substr($_SERVER['REQUEST_METHOD'], 0, 4))=='HEAD') exit();
посоветовался с людьми -нет уверености, что это никак не влияет на SE боты и на выдачу.
кто-нибудь может сказать со 100% уверностью может повредить эта строка или нет?
прошу совета что можно сделать кроме добавления этой строки?
зарание спасибо за ответы.
|
|
|
|
| |
С нами с 21.03.08
Сообщения: 720
Рейтинг: 1013
|
| Добавлено: 22/01/12 в 00:40 |
Насчет HEAD - это дерзко...
Лучше так
if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();
или через .htaccess
RewriteCond %{HTTP_USER_AGENT} FTT2 [NC]
RewriteRule ^$ null.html
И создать файл в корне null.html примерно такого содержания:
<html><boby>
<h1>POSLI NA HUY YOBANIE BOTI FTT</h1>
</body></html>
А вообще на картину трейда никак не вляет.
|
|
|
|
| |
С нами с 06.03.04
Сообщения: 5352
Рейтинг: 1678
|
| Добавлено: 22/01/12 в 08:56 |
такая же хрень с ботами кристала, подойдет-ли этот код ?
если да, то чем заменить /FTT2/i
с HTTP_USER_AGENT хз вобще что вписать 
|
|
|
|
| |
С нами с 20.10.10
Сообщения: 83
Рейтинг: 40
|
| Добавлено: 22/01/12 в 17:22 |
и этого
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) SCJchecker bot
|
|
|
|
Отличные клипы для ваших тубов - @semenbr Telegram
|
0
|
|
| |
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
 
|
| Добавлено: 22/01/12 в 18:27 |
Просто посмотрите IP серваков откуда идет бот и забаньте эти IP нахрен.
|
|
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
-3
|
|
| |
С нами с 08.07.10
Сообщения: 340
Рейтинг: 469
|
| Добавлено: 22/01/12 в 18:30 |
хороший совет 
|
|
|
|
| |
С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
| Добавлено: 22/01/12 в 18:59 |
| Цитата: | | Просто посмотрите IP серваков откуда идет бот и забаньте эти IP нахрен. |
и тогда скрипт решит что ресы в дауне и трейд прекратится.
|
|
|
|
| |
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
|
| Добавлено: 22/01/12 в 19:10 |
| Goodwin_a писал: | | и тогда скрипт решит что ресы в дауне и трейд прекратится. |
Ну отдавай любую страницу пустую. А сделать так что бы страницу отдать но и не отдать - нифига не получится.
Просто бота легче по IP отличить, чем по заголовкам , которые он может менять к тому.
|
|
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
| |
С нами с 20.01.03
Сообщения: 18003
Рейтинг: 9760
|
| Добавлено: 22/01/12 в 20:06 |
| Stek писал: | | Ну отдавай любую страницу пустую |
тумбы для топлиста грабиться не будут
|
|
|
|
| |
местный
С нами с 10.08.03
Сообщения: 1578
Рейтинг: 2362
|
| Добавлено: 22/01/12 в 20:37 |
а не проще постучать овнеру сиджев откуда прут эти проверки и попросить отключить для конкретного твоего сайта проверку на живучесть?
Зачем банить то сразу ?
|
|
|
|
| |
CBR 600 RR
С нами с 17.12.03
Сообщения: 2755
Рейтинг: 1557
|
| Добавлено: 23/01/12 в 16:33 |
действительно 
|
|
|
|
| |
С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
| Добавлено: 23/01/12 в 21:56 |
вообще было бы хорошо. чтоб создатели новых CJ скриптов и вообще скриптов в дефолтных настройкам отключали всевозможные "чекалки" или минимизировали. как я понял из общения с людьми, не все в курсе что есть такое и как отключить к примеру. да и всех обстукивать и просить отключить тож не вариант.
|
|
|
|
| |
С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
| Добавлено: 23/01/12 в 21:59 |
вариант <?if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
похоже рабочий. проверяю один день правда - пока нормально все.
а вот про топы я не подумал, что некотрые могут грабить тумбы для топа. пока у меня таких трейдоров нету правда.
но на будущие. мужики кто знает php подскажите плиз как можно объеденить
<?if ( preg_match ('/FTT2/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
и
"Mozilla/5.0 (compatible; FTT2 Ping Bot; http://www.ftt2.com/)" бот, который проверяет сайт на доступность.
|
|
|
|
| |
С нами с 21.03.08
Сообщения: 720
Рейтинг: 1013
|
| Добавлено: 23/01/12 в 23:11 |
Это уже объедененно..
Код выше грит скрипту - мля, сайт доступен
Минус - нет граба тумб.
Но это поправимо, нужно перед exit вставить код отдающий топовую тумбу.
типа
echo "<img src='/XXX/yyy.jpg' width=180 heigh=240 border=0>";
|
|
|
|
| |
С нами с 09.05.00
Сообщения: 2228
Рейтинг: 744
|
| Добавлено: 28/01/12 в 00:06 |
Давно уже баню ИПники с которых фтт2 боты лезут. На объем трафика никак не повлияло. Там где крупный трейд, люди начинают разбираться почему трейд стал и отключают эту фигню. На мелочь пох.
|
|
|
|
| |
С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
| Добавлено: 28/01/12 в 17:04 |
| L.Estel писал: | Это уже объедененно..
Код выше грит скрипту - мля, сайт доступен
Минус - нет граба тумб.
Но это поправимо, нужно перед exit вставить код отдающий топовую тумбу.
типа
echo "<img src='/XXX/yyy.jpg' width=180 heigh=240 border=0>"; |
ты меня не правильно понял наверное.
"Mozilla/5.0 (compatible; FTT2 Toplist Thumb Grabber; http://www.ftt2.com/)" - для грабба тумбы для топлиста
"Mozilla/5.0 (compatible; FTT2 Ping Bot; http://www.ftt2.com/)" для того бота, который проверяет сайт на доступность.
вот и хочу узнать как сделать чтоб бот для граба тумбов для топилиста отрабатывал полностью
вот так правильно будет?
<?if ( preg_match ('/FTT2 Ping Bot/i', $_SERVER['HTTP_USER_AGENT'])) exit();?>
|
|
|
|
| |
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
|
| Добавлено: 28/01/12 в 17:13 |
Не тем путем идете, плящите от IP.
К примеру такая конструкция в морде:
| Код: |
<?php
if ($_SERVER['REMOTE_ADDR'] != '127.0.0.1') { // тут ип сервера с ftt
include_once('/cj/in.php'); // ваша кострукция расчета IN у сиджа
}
?>
|
В результате ftt и морду увидит и в трейд не попадет.
|
|
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
| |
С нами с 04.10.10
Сообщения: 391
Рейтинг: 437
|
| Добавлено: 28/01/12 в 17:22 |
почему не тем объясни? чем по юзер агенту плохо? + IP может быть несколько.
|
|
|
|
| |
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
|
| Добавлено: 28/01/12 в 17:44 |
Сервер внаружку как правило выходит с одного ip.
Юзер агент меняется влегкую, как и реферер. При этом возможность их смены обычно зашита в скрипты по умолчанию. Иначе это не проверка - а издевательство, типа "здравствуйте, я проверяющий бот, дайте мне данные".
|
|
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
| |
