Закрыть теги от индекса KVS

Необходимо закрыть теги в robots.txt. Как это сделать? Буду благодарен всем за ответы.

Код:

User-agent: * Disallow: /tags/

Последний раз редактировалось: Vyacheslav (21/12/11 в 15:51), всего редактировалось 1 раз

Нет там такой директории, вот в чем дело-то

paradox: тогда дай примеры урлов, которые хочешь закрыть.

так я не знаю, в том-то и дело.. я не вижу где теги распологаются, движок KVS

сайт готов? кликни на любой тэг, и посмотри, какой получается урл.

Там нет такой директории, зато есть Rewrite

Гугл знает только про то, что она есть в URL. Этого достаточно. Наличие директории на диске не обязательно.

Последний раз редактировалось: Vyacheslav (21/12/11 в 15:51), всего редактировалось 1 раз

paradox писал:

Нет там такой директории, вот в чем дело-то

самой деректории нету, наверное реврайт работает

вот мне тоже стало интересно сработает то, что Vyacheslav написал?

Всем спасибо! Пробую, урл действительно такой выходит: http://********.xxx/tags/xxxyyy/

Поймите, гугл или ещё кто-либо со стороны http клиента никак не может различить наличие реальной директории на диске\файловой системе сервера или имитацию её посредством Rewrite. На самом деле это не должно никого волновать, так как устройство файловой системы сервера может вобще не подразумевать существование привычной структуры с содержанием директорий, которые именно будут отделяться "/" или "\" (могут и "*")! Другое дело, как это принято интерпретировать со стороны http://domann/dir/dir/ запроса - тут чётко "/", а не как-то http://domann*dir*dir* или ещё как-то!
Так вот, robots.txt это только договор между ПС и вебмастером и виден он именно со стороны http://domain.com/robots.txt, а не самим сервером, и поэтому всё что в нём написано интерпретируется таким же образом с клиентской стороны, где директории видны только в запросах, разделённые "/".

paradox: иди в гугл, посмотри какие паги у него в индексе, которые ненужно закрой в роботсе

я всегда так делаю

Ну их там 85к штук страниц
Так что нужно их как-то массово закрывать.. Ну вроде уже решил