Я baidu найду и убью

какой у них алгоритм?

Алгоритм простой в принципе. Как собственно и у всех остальных!

robots.txt

Код:

User-agent: Baiduspider Disallow: /

Стоит в .htaccess

BrowserMatchNoCase sogou bad_bot
BrowserMatchNoCase sosospider bad_bot
BrowserMatchNoCase Baiduspider bad_bot
BrowserMatchNoCase MJ12bot bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

Тьфу-тьфу-тьфу, но больше проблем нет с Baidu и иже с ним....

Barkley писал:

но больше проблем нет с Baidu и иже с ним....

шо уже?

алгоритм всех задрочить, чтоб все знали что есть такой ПС байду ) прогрессивный

ну а так вообще если не нужен то локни в htaccess, в конфиге апача или нгинкс, или фаерволлом если ипы его искать не влом ... как удобней ... лично мне он не мешает ни сколько, не чаще гугла подрочить приходит на мои сайты ...

.

Последний раз редактировалось: Lost (15/05/15 в 15:05), всего редактировалось 2 раз(а)

По статистике обращений в наш саппорт примерно половине пользователей дописывание htaccess и robots не дали ничего. 100% результат даёт только бан 2-3 (обычно он приходит с 2-3) подсетей, с которых он приходит на сидж. Подсетей много, среди них далеко не только китай (хотя преобладает).

Цитата:

лично мне он не мешает ни сколько, не чаще гугла подрочить приходит на мои сайты ...

Если бы он только приходил, он ещё кликает и кликает много, кликает исключительно по топам и портит статистику, а при трейде по ref в линке ещё и ауты на трейд уродует. Бот гугла кликает реже на пару порядков.

существенный вред наносит байду.. уже банил раньше, опять всплыл

Crystal Scripts писал:

По статистике обращений в наш саппорт примерно половине пользователей дописывание htaccess и robots не дали ничего.

в robots дописывание и не должно ничего давать, это просто как пожелание для поисковика, которому он следует по своему усмотрению.

с htaccess не совсем понятно, это безусловная команда для апача - тут разве адреса указывают неправильно.

Цитата:

в robots дописывание и не должно ничего давать, это просто как пожелание для поисковика, которому он следует по своему усмотрению. с htaccess не совсем понятно, это безусловная команда для апача - тут разве адреса указывают неправильно.

Имелся ввиду тот код, который приведён тут в постах выше в robots и в htaccess, а не бан по IP. Вот эти письмена помогают фифти-фифти, а бан по IP помогает всегда.

Гдето тут была была ссылка на все китайские IP с байду в том числе, на том ресе даже с примером кода хтацесса было, спаманите кто знает подобные ресы плизз

Baidu - достал
http://www.useragentstring.com/Baiduspider_id_4086.php

Crystal Scripts писал:

Вот эти письмена помогают фифти-фифти, а бан по IP помогает всегда.

Да потому, что приведенный код, неверный.
Необходимо др переменные использовать.. Отсюда и косяки

Есть хорошая переменная HTTP_USER_AGENT. Все остальное от лукавого.

PS:Читать мат часть по апачу три раза.

L.Estel писал:

Есть хорошая переменная HTTP_USER_AGENT. Все остальное от лукавого.

лукавого незнаю. HTTP_USER_AGENT. одно из и этим не решается

У меня именно оно...
Никаких байду и в помине нет... Вообще забыл что это

У меня тоже оно - и тоже все это дерьмо исчезло

глюк

Народ, а никто не подскажет что за херня EC2LinkFinder? Заливает зараза 1н мой СЖ. Понятно можно через htaccess IPники забанить. Но хотелось бы сначала узнать что за херня.

Mоrgan писал:

Народ, а никто не подскажет что за херня EC2LinkFinder? Заливает зараза 1н мой СЖ. Понятно можно через htaccess IPники забанить. Но хотелось бы сначала узнать что за херня.

Это какая-то хрень от Amazon [EC2 = Elastic Compute Cloud (Amazon)]. Имхо бань.

Цитата:

Я baidu найду и убью

Смотрю выебать чё-то азиатское - это стаёт навязчивой идеей

Бан B-С-сетей через .htaccess снял проблему раз и навсегда:

Цитата:

BAIDU/CHINANET 123.125 180.76.0 180.76.1 180.76.2 180.76.3 180.76.4 180.76.5 180.76.6 180.76.7 180.76.8 180.76.9 180.76.10 180.76.11 180.76.12 180.76.13 180.76.14 180.76.15 180.76.16 220.181

а про robots.txt пора уже забыть.. RIP ему

А ..ну и для htaccess не забыть добавить:

Цитата:

Order Allow,Deny Allow from all Deny from 123.125 Deny from 180.76.0

...и далее по списку

+ очень актуально для забывчивых:

Цитата:

<Files .htaccess> order allow,deny deny from all </Files>

А то потом голову ломают: чет хтакцесс не пашет млин

EC2LinkFinder забанить через IP оказалось не просто. Каждый раз приходит пачка ботов с новым IP

RiverVanRain писал:

Цитата: <Files .htaccess> order allow,deny deny from all </Files>

это для чего?