Реклама на сайте Advertise with us

Каких ботов блокировать?

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

НЕ ЗАНИМАЮСь ФИНАНСАМИ!

С нами с 16.03.03
Сообщения: 1251
Рейтинг: 653

Ссылка на сообщениеДобавлено: 06/05/10 в 13:25       Ответить с цитатойцитата 

В статистике по User Agents виду кучу всяких ботов типа китайской байды
траффик жрут, а есть ли от них толк?
посоветуйте кого блокрировать, а кого лучше оставить?

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 06/05/10 в 13:33       Ответить с цитатойцитата 

есть боты проверяющие обратные линки
а вообще лучше всех заблокировать, кроме гугля яхи бинга
для примера
https://www.master-x.com/robots.txt
для самостоятельного поиска
http://www.google.com/search?q=%22User-agent%3A+baiduspider+Disallo…type%3Atxt

0
 



С нами с 25.05.07
Сообщения: 1242
Рейтинг: 723

Ссылка на сообщениеДобавлено: 06/05/10 в 19:19       Ответить с цитатойцитата 

Ну с горяча всё банить тоже вредно. Тот же гугль иногда всякой хуйней прикидывается для проверки клоакинга.

31 free seo & web tools

0
 



С нами с 11.05.10
Сообщения: 34
Рейтинг: 15

Ссылка на сообщениеДобавлено: 11/05/10 в 12:37       Ответить с цитатойцитата 

Однако дя профилактики лучше боты все же блокирнуть. А гугл хоть и балует но редко.

0
 



С нами с 24.10.04
Сообщения: 18881
Рейтинг: 9010


Передовик Master-X (16.03.2006) Передовик Master-X (01.04.2006) Передовик Master-X (16.04.2006) Передовик Master-X (01.05.2006) Передовик Master-X (01.11.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 11/05/10 в 12:45       Ответить с цитатойцитата 

Chin писал:
Ну с горяча всё банить тоже вредно. Тот же гугль иногда всякой хуйней прикидывается для проверки клоакинга.


трафик кстати не всегда так важен, как создаваемая ботами нагрузка на сервер, в этом случае лучше разрешить популярным ботам ходить с задержкой, а остальных в дисаллоу
например, относительно недавно запретил боту cuil ходить по сайту, нагрузка на сервере упала на 10-15%, довольно прожорливый бот, а толку с него ноль
кстати Chin: ты же вроде крутой сеошнег, подскажи, почему рамблер не учитывает User-agent: * Crawl-delay: 10?

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »