С нами с 06.08.06
Сообщения: 251
Рейтинг: 100
|
 Добавлено: 08/09/08 в 07:10 |
Есть ли универсальное решение для написания таким образом robots.txt, чтобы разрешить индексацию только главной страница, и запретить все остальное, без перечисления всех папок имеющихся на сайте?
|
|
|
|
| |
С нами с 19.10.05
Сообщения: 351
Рейтинг: 755
|
| Добавлено: 08/09/08 в 18:20 |
| Код: | User-Agent: *
Allow: /index.html
Disallow: / |
|
|
|
|
| |
С нами с 26.09.07
Сообщения: 274
Рейтинг: 254
|
| Добавлено: 09/09/08 в 08:24 |
читал что allow в роботс не используется. или можно использовать?...
|
|
|
|
| |
С нами с 06.03.05
Сообщения: 6216
Рейтинг: 7375
 
|
| Добавлено: 09/09/08 в 10:47 |
вроде недавно эта фишка появилась...
|
|
|
|
| |
>100 сайтов вебкам. ссылки.
С нами с 31.03.08
Сообщения: 2372
Рейтинг: 3463
|
| Добавлено: 09/09/08 в 20:15 |
Фишка то появилась, да вот только она не работает так, как задумывалось. Поясняю: Disallow закрывает от поисковиков (от вежливых) определенные страницы. Allow задумывалось как конкретное указание типа "Вот эти страницы проиндексируй обязательно!" Но, как говорится, дульки! 
Вобщем, с помощью Disallow можно те или иные страницы закрыть. Все, что не закрыто, может быть проиндексировано. "Заставить" ботов с помощью Allow проиндексировать что либо конкретное не получится.
|
|
|
|
| |
С нами с 06.08.06
Сообщения: 251
Рейтинг: 100
|
| Добавлено: 10/09/08 в 01:03 |
Всем спасибо за советы - сам тоже поковырял мануалы - вывод:
универсального решения не существует.
только ставить все папки в корне в тег Disallow.
|
|
|
|
| |
С нами с 05.11.07
Сообщения: 551
Рейтинг: 156
|
| Добавлено: 10/09/08 в 20:36 |
Вообще то цель этого файла закрыть от индексации нежелательные страницы и папки сайта. А если такой универсальный, то зачем он вообще тогда нужен?
|
|
|
|
| |
Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте! |
