Как закрыть диры для msnbot?

надо закрыть папки /about/user/(blabla), /portal/user/(blabla), /forum/user/(blabla)
они все одинаковые

во всех поисковиках нормально срабатывает конструкция:
Disallow: /*user
в мсн эти диры в индексе

вообщем сабж

может стоит сделать так:
Disallow: /*/user/
?

Попробуй инструментами гугла проверить формат: https://www.google.com/webmasters/tools/dashboard?pli=1

gimcnuk писал:

может стоит сделать так: Disallow: /*/user/ ? Попробуй инструментами гугла проверить формат: https://www.google.com/webmasters/tools/dashboard?pli=1

гугл, яндекс и яху правильно понимают правило /*user - не индексировать урлы, где есть фрагмент user
а мсн наоборот индексирует их очень активно и ставит в топ

а для msn тада как закрыть индексацию?

проверил тулзой http://tool.motoricerca.info/robots-checker.phtml
одни ошибки

вот например, чтоб не индексировал все урлы, где встречается знак вопроса, использую конструкцию:
Disallow: /*?
The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar (Eg. Googlebot).

походу только для гугла работает

User-agent: msnbot
Disallow: /

User-agent: *
Disallow:


Если не помогает, запрети по ip и принудительно в хтакссес по названию.

lowa писал:

User-agent: msnbot Disallow: / User-agent: * Disallow: Если не помогает, запрети по ip и принудительно в хтакссес по названию.

ну мне не вообще его отрубить, а запретить лишь часть директорий

Ну значит в дире делай .htaccess

И запрещай всё что тебе угодно ;)

Цитата:

SetEnvIfNoCase User-Agent "^Yandex" search_bot SetEnvIfNoCase User-Agent "^Yahoo" search_bot SetEnvIfNoCase User-Agent "^Googlebot" search_bot SetEnvIfNoCase User-Agent "^msnbot" search_bot Order Allow,Deny Allow from all Deny from env=search_bot

lowa писал:

Ну значит в дире делай .htaccess И запрещай всё что тебе угодно ;)

как вариант, сенкс!

ibiz писал:

как вариант, сенкс!

Нп. Удачного неиндексирования

А самый тупой вариант без звездочек в синтаксисе не пробовал?

User-agent: msnbot
Disallow: /about/user/
Disallow: /portal/user/
Disallow: /forum/user/

Chin писал:

А самый тупой вариант без звездочек в синтаксисе не пробовал? User-agent: msnbot Disallow: /about/user/ Disallow: /portal/user/ Disallow: /forum/user/

очень больший роботс получается, к тому же диры динамические, постоянно добавляются новые...