Ошибки сканирования

В GWT, в "Ошибках сканирования", такая запись "Заблокирован файлом robots.txt ‎(137)‎" .
В robots.txt есть строка "Disallow: */feed*", вот все feed и блокированы.
Это дествительно ошибка ? Ее надо исправлять, , вроде все по чесному просто закрыл для индексации некоторые паги и все, для гугли это плохо ?

net666:
1. в некоторых источниках читал, что использование звездочки в качестве "любой знак" в роботс.тхт не допускается.
правда, в других местах пишут, что это можно делать.

если ты хочешь закрыть от индексации только папку feed, лучше пропиши так: Disallow: /feed/

2. я думаю, что сообщение о подобных ошибках возникает тогда, когда гугл находит на твоем сайте ссылку, не закрытую тэгом "noindex" на страницы, которые закрыты от индексации в роботс.тхт
т.е., получается противоречие: ссылка говорит: "индексировать", а роботс.тхт говорит: "индексировать запрещено".
попробуй найти такие ссылки и прописать им "noindex".
если после этого сообщения об ошибках исчезнут, отпишись, плз, в этом топике.

Спасибо, сегодня попробую, постараюсь на забыть отписаться :-)

Привел robots.txt в соответствие рекомендациям с http://robotstxt.org.ru/robotstxterrors (вкючая все ссылки из стать).
Ссылок на feed с этой dir связанное, я не нашел.
В хедере остались
<link rel="alternate" type="application/rss+xml" title="XXX XX &raquo; Feed" href="http://www.xxx.com/feed/" />
<link rel="alternate" type="application/rss+xml" title="xxx xx &raquo; Comments Feed" href="http://www.xxx.com/comments/feed/" />
Это на индексе, в постах и пагах к этому жобаляются еще адреса для постов и паг, еще по одной строке.
Как это удалить пока не знаю.
Может в этом проблема и есть ?

Прошу прощения, буду здесь писать свои действия чтоб не забыть, может пользу юудет :-)
Написал еще одни топик, ПО совету andreich порлся в *****/wp-includes/general-template.php
Вроде нашел, что отключить. Закоментил
echo '<link rel="alternate" type="' . feed_content_type() . '" title="' . esc_attr(sprintf( $args['feedtitle'], get_bloginfo('name'), $args['separator'] )) . '" href="' . get_feed_link() . "\" />\n";
echo '<link rel="alternate" type="' . feed_content_type() . '" title="' . esc_attr(sprintf( $args['comstitle'], get_bloginfo('name'), $args['separator'] )) . '" href="' . get_feed_link( 'comments_' . get_default_feed() ) . "\" />\n";
}
я не программер. просто по логике отрубил. Но результат есть, пропали строки с алтернативными линками. На пагах, осталось. но их мало.
Посмотрю через несколько дней, что будет с ошибками сканирования.
Постараюсь отписаться.

sergio21 писал:

2. я думаю, что сообщение о подобных ошибках возникает тогда, когда гугл находит на твоем сайте ссылку, не закрытую тэгом "noindex" на страницы, которые закрыты от индексации в роботс.тхт т.е., получается противоречие: ссылка говорит: "индексировать", а роботс.тхт говорит: "индексировать запрещено". попробуй найти такие ссылки и прописать им "noindex". если после этого сообщения об ошибках исчезнут, отпишись, плз, в этом топике.

"noindex" - гугл не знает такой тег.

еще как знает, когда он записан там где должен быть - в мета, а не как яндексоиды предлагают отдельными тагами хуярить

net666, хуй знает чем тебе ссылки на RSS ленту помешали, если ее не генерируешь, то конечно ебни ... или можно заменить на линки фидбернера, если через него прогоняешь ... но думаю что наврятли дело в них

cdroller:
Ну а откуда эти ошибки берутся ? Хотя нет полной уверенности , что это ошибки, подожду несколько дней еще, будет видно.

После изменений количество "ошибок" начало уменьшаться, но медленно. Жду еще...

Заблокирован файлом robots.txt - это не ошибка, это хуйня ... бот не может индексировать ссылку, потому что в роботсе стоит на нее запрет, вот он весело закидывает ее в ошибки и сканирует дальше ... вообще все это хуйня в большинстве случаев, дубли хуюбли страниц, построение сайтмапов и т.п. говнокопательства в вебмастертулзе, от нехуй делать наверно люди дрочатся с этим ... гугл сам определяет все что нужно в большинстве случаев, дубли склеивает на то куда бэков больше, сайтмапы нахуй ему не нужны, один хуй по страницам и внешним ссылкам сам базу свою собирает ... там можно неделями и месяцами копаться а толку не будет, на "любовь" ПС влияют совсем другие параметры, вовсе не та хуйня что написана в рекомендациях про красивые тексты для людей, удаление дублей, построение сайтмапов нахуй ненужных и прочее ...

С 25 сентября по сегодняшний день, количество "ошибок" изменилось с 137 до 120. Связано-ли это с моими изменениями ? Не знаю :-)

Восстановил все , появились новые ошибки "Истекло время ожидания" с какого перепуга х.з.

да не парься ты слишком по этим ошибкам, прими к сведению и все