Странный YandexBot

Обратил внимание на странное поведение яндексбота когда логи просматривал. Он сам генерит несуществующие линки для моего сайта и просматривает их.

Для примера: есть ссылка рабочая mysite.xxx/gallery/img18352-enjoys-her-tigh.html Так этот бот начинает тупо инкрементить img18352>>img18353>>img18354 и т.д. Произвольно комбинирует параметры из разных ссылок, просто режет часть ссылки. Вобщем занимается какой-то непонятной хернёй.
При этом у меня на сайте есть постоянно обновляемая сайтмеп прописанная в robots.txt
Это точно YandexBot, диапазон айпи его. Вот нахрена это он делает? Любопытно просто.

Другие боты так не развлекаются. Есть еще правда бот от deusu.de, он иногда обрезает часть просматриваемых ссылок, думаю из-за его технических недостатков. Гуглбот самый точный. Бингбот грешит тем что пытатся лазить по давно удаленным ссылкам несмотря на то что я сайтмап напрямую загружаю в бингвебмастер панель.

Проверяет, может быть, по признакам дорвея?

dmmcash писал:

Другие боты так не развлекаются.

А ему делать нехуй, он не спешит. Когда у меня в индекс гула 1к страниц залетает, яндекс при этом только пол сотни в индексе отображает.

Kuantanis писал:

Проверяет, может быть, по признакам дорвея?

Если у меня на сайте будут изображения img18352>>img18353>>img18354 и т.д. разве это будет считаться дором?

Ко мне вот щас такой пришел 141.8.184.25 накликал сука по линку продажи трафика, которая собссно нигде не светится, хз как он её нашел.

У меня от яндекса меньше всего трафа с поисковика, но зато его бот делает трафа больше, чем сумма всех ботов от других поисковиков

Lexikon писал:

А ему делать нехуй, он не спешит.

Тогда уж это такой ущербный ИИ от яндекса пытающийся саморазвиваться. Тупиковая ветвь эволюции.

Johnbonjov писал:

Ко мне вот щас такой пришел 141.8.184.25 накликал сука по линку продажи трафика, которая собссно нигде не светится, хз как он её нашел.

Может ты яндекс браузером пользуешься?

Stek писал:

У меня от яндекса меньше всего трафа с поисковика, но зато его бот делает трафа больше, чем сумма всех ботов от других поисковиков

Эт точно, логи просто забиты этим ботом.

Уже пару недель буйство яндексбота не наблюдаю. У меня одного так?

да яндекс бот вообще дикий, особенно новостной. недавно мне сайт положил, успокоил его дерриктивой Crawl-delay: 10

фигасебе... у вас или говнохостинг или сайт сильно неоптимизированный, чтоб краулером можно было сервер положить или доставить неудобства

ibiz: нормально оптимизированный, яндекс бот долбил по 800 запросов в минуту

densa писал:

яндекс бот долбил по 800 запросов в минуту

думаю это не нормально, но также уверен, что яндекс не виноват в таком кол-ве запросов, возможно ошибки на сайте или тупо циклический редирект на странице
у меня есть десяток крупных порталов с овер лямом страниц, по идее яндекс должен у меня поселиться:

утром тупо запустил мониторинг логов нескольких крупных сайтов, через команду:
tail -f /var/log/domain.ru.access.log | cut -d ' ' -f 1 | logtop
общее кол-во запросов к этим сайтам ~600 в секунду, но я так понял там считаются все http запросы включая к статике
load average: 0,11, 0,10, 0,10
яндекс бот 130.193.51.35 и хуй с германии 5.9.18.75 на втором месте по запросам
при этом есть поле для улучшения оптимизации