Вопрос по роботс.тхт

У меня в роботс.тхт прописано Disallow: /feed/ но гугл упорно индексит фиды комментариев к постам, т.е. конструкции типа domain.com/post-name/feed/. Как запретить ему индексацию этих урлов ? Спасибо заранее !

Попробуй такое добавить

Disallow: /*/feed/$

А вообще через Google Webmasters Tools можно тестить как блокирует robots.txt те или иные урлы для индексации. Удобно, попробуй.

сколько не запрещал там чего - все в выдаче. гуглу похоже похуй на этот файл.

если есть ссылка на страницу запрещенную в роботсе, то бот всё равно проиндексирует её. Страницу лучше метатегом закрыть.

где-то тоже читал что на роботс.txt гугл внимания не обращает

Kosmos писал:

У меня в роботс.тхт прописано Disallow: /feed/ но гугл упорно индексит фиды комментариев к постам, т.е. конструкции типа domain.com/post-name/feed/. Как запретить ему индексацию этих урлов ? Спасибо заранее !

Disallow: /*/feed

у меня так не индексит.
если только бот гугла мучает то можно вынести в отдельный блок в robots.txt:

User-agent: Googlebot
Disallow: /*/feed

Гугл не реагирет на robots либо про причине неверного местонахождения этого файта, либо некорректного синтаксиса. Если с этим все гуд, то видимо стоит немного подождать чтобы стали заметны результаты. Например, на одном из моих сайтов реакция гугла на robots проявилась только сейчас несмотря на то, что файл был скормлен поисковику еще в начале апреля.

Да не, реагирует он, просто иногда очень долго.
Я свой сайт закрыл от всех поисковиков много месяцев назад. Гугль несколько месяцев еще и ходил регулярно, и из базы не выкидывал.
Сейчас наконец то выкинул (времени много реально прошло с момента дисалоу *), а вот яху и мсн до сих пор пачку страниц в индексе держат.