Реклама на сайте Advertise with us
Тема: Какие заголовки используют роботы? Расширенный поиск по форуму
 
Внимание! В связи с устареванием топика эта страница была взята из кэша.
Автор Сообщение
Информация о пользователе zJ


Зарегистрирован: 13.07.02
Сообщения: 1341
Ссылка на сообщениеДобавлено: 06/10/04 в 03:44     

Пример: в awstats что-то попадает в "роботы", а что-то в "браузеры", по какому признаку это происходит? Браузеры на сколько я понимаю передают "User-Agent: ...", а роботы что?

K началу

 
Информация о пользователе sAx


Зарегистрирован: 07.06.00
Сообщения: 2257
Ссылка на сообщениеДобавлено: 06/10/04 в 05:22     

zJ писал:
Браузеры на сколько я понимаю передают "User-Agent: ...", а роботы что?

Роботы... передают "Robot-Agent: ..." icon_razz.gif (шутка, конечно).

Роботы опознаются по известным ИП и/или User-Agent-ам, по запросу файла robots.txt ... Остальные (неопознанные) попадают в броузеры или "неопознанные боты" -- смотря какая система анализирует.

K началу

 
Информация о пользователе zJ


Зарегистрирован: 13.07.02
Сообщения: 1341
Ссылка на сообщениеДобавлено: 06/10/04 в 05:57     

sAx писал:
по запросу файла robots.txt


Вот здесь кажется истина, т.к. у меня в статсах такие "роботы" есть, которые я думаю ну никак система статистики не могла отнести к ним исходя из айпи или агента.

K началу

 
Информация о пользователе GJ


Зарегистрирован: 05.04.03
Сообщения: 38
Ссылка на сообщениеДобавлено: 07/10/04 в 03:02     

у awstat есть нехила база роботов прямо в файлах его, по ним и опрделяет.. а по ип или агенту - я уже, сорри, не помню..

K началу

 
Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!
Внимание! В связи с устареванием топика эта страница была взята из кэша.

Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »