Реклама на сайте Advertise with us

Нужен совет по robots.txt

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Клева

С нами с 07.02.04
Сообщения: 12781
Рейтинг: 3531

Ссылка на сообщениеДобавлено: 03/09/13 в 18:05       Ответить с цитатойцитата 

Составляем robots.txt, немного запутались, точнее я запутался

мне составили robots.txt
Код: [развернуть]


Правильно что сама папка domain.com/foldername/ индексироваться будет, а вот то что потом, например domain.com/foldername/?20 нет?

А то у меня сомнения, что и сама папка может не индексироваться

-1
 

Old Oil Barrel

С нами с 09.09.04
Сообщения: 58531
Рейтинг: 14265


Передовик Master-X (16.07.2005) Передовик Master-X (16.10.2005) Передовик Master-X (01.12.2006) Передовик Master-X (01.03.2007) Передовик Master-X (16.03.2007) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 03/09/13 в 18:57       Ответить с цитатойцитата 

Сама папка при такой записи не будет индексироваться

Правило буравчика

-1
 
+ + +


С нами с 03.04.10
Сообщения: 1068
Рейтинг: 521


Передовик Master-X (16.08.2013) Передовик Master-X (01.09.2013)
Ссылка на сообщениеДобавлено: 03/09/13 в 21:57       Ответить с цитатойцитата 

Disallow: /foldername/*

не ? icon_rolleyes.gif
хотя в принципе если все что в папке не индексить то что там вообще индексировать

0
 

Клева

С нами с 07.02.04
Сообщения: 12781
Рейтинг: 3531

Ссылка на сообщениеДобавлено: 04/09/13 в 02:26       Ответить с цитатойцитата 

despero писал:
хотя в принципе если все что в папке не индексить то что там вообще индексировать

сайт на вордпрессе, по адресу domain.com/foldername/ пост его индексируем, а все дубли типа domain.com/foldername/#comment-3970 исключить

0
 

Old Oil Barrel

С нами с 09.09.04
Сообщения: 58531
Рейтинг: 14265


Передовик Master-X (16.07.2005) Передовик Master-X (16.10.2005) Передовик Master-X (01.12.2006) Передовик Master-X (01.03.2007) Передовик Master-X (16.03.2007) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 04/09/13 в 04:19       Ответить с цитатойцитата 

Чтобы обозначить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, название которых начинается с private, добавьте следующие строки:

User-agent: *
Disallow: /lichnoe*/

Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть всех URL-адресов, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:

User-agent: *
Disallow: /*?

Правило буравчика

-1
 
+ + +


С нами с 03.04.10
Сообщения: 1068
Рейтинг: 521


Передовик Master-X (16.08.2013) Передовик Master-X (01.09.2013)
Ссылка на сообщениеДобавлено: 04/09/13 в 09:48       Ответить с цитатойцитата 

у меня вот такой роботекст на одном блоге , на некоторых вообще нету , а на один поставил что бы разницу посмотреть

User-agent: *
Disallow: /?m=
Disallow: /?tag=
Disallow: /?author=
Disallow: /?s=
Disallow: /?paged=
Disallow: /?cat=
Host: сайт.info

смотрел в выдаче гугля - одни посты лезут больше нихуя запрет на коменты хоть и не прописан но их все равно нет
тебе по ходу такой вариант с папкой нормально должен фурычить

User-agent: *
Disallow: /твояпапка/?m=

это ж ты получается конкретную вещь в папке запрещаешь к индексации

0
 
+ + +


С нами с 03.04.10
Сообщения: 1068
Рейтинг: 521


Передовик Master-X (16.08.2013) Передовик Master-X (01.09.2013)
Ссылка на сообщениеДобавлено: 11/10/13 в 12:37       Ответить с цитатойцитата 

новую тему создавать не стоит наверное поэтому в этой спрошу выше я описал пример роботекста с одного своего блога вот сейчас заметил что у этого блога в яндексе только морда и больше нихуя , в гугле же все нормально кроме морды еще страницы с постами как и задумывалось . У меня такое было когда я перемудрил с роботекстом и запретил все на свете (по принципу сергейки /*? ) но тогда у меня все страницы и посты из выдачи вылетели не только в яшке а и в гоше . а сейчас только яшка чето игнорит . Поэтому спрошу кто знает , есть ли в моем роботексте повод яшкиному роботу до меня доебатся , в принципе по моему там все предельно просто и ясно icon_rolleyes.gif но вдруг

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »