Небольшое наблюдение

Решил посмотреть как гуглбот ползает по сайту. Страниц много. Заметил такую картинку - сначала он просматривает страницы с самым коротким адресом, потом на одну букву больше и т.д. Красивые такие горки из букв получаются в файле статистики заходов гуглбота.

Практического применения этому наблюдению пока не вижу, просто интересно.

Возможно это только новых страниц касается, потому что потом при более редких заходах гуглбота этой тенденции уже нет или просто я её не вижу.

Мне интересно когда бот просматривает страницы он всегда подписывается +http://www.google.com/bot.html или может прикинуться каким-нибудь фаерфоксом или вообще незаметно для меня просмотреть страницу? И ещё, Гугл Аналитикс может давать данные боту какие есть ссылки на странице, чтобы их посетить, или сначала всё-таки должен зайти бот и найти эти ссылки?

У гугля боты разные и они в разных ботах ходят.

а сайтмапа у тебя есть? может в ней всё так отсортировано?

xp-ViT писал:

а сайтмапа у тебя есть? может в ней всё так отсортировано?

На одном сайте есть, но там ничего не отсортировано - посмотрел специально только что. На другом сайте нет, а эффект наблюдается на обоих.

значит гуголь просто перед обедом сортирует по длине урла. зачем не понятно, вполне вероятно в этом просто замешана какая-нить оптимизация скорости обхода. а может и просто так...

Любопытно, только какой смысл в этом? Не иначе как выдумка их хитрого прогера.

+1 к теории про оптимизацию скорости обхода. Думается, что бот, перед тем как получить список ссылок для посещения, сортирует их по длине, чтоб отсечь те, у которых знаков в урле больше значения Х