Реклама на сайте Advertise with us

Как правильно сделать?

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Люблю то, что делаю!

С нами с 22.10.06
Сообщения: 5053
Рейтинг: 4418


Передовик Master-X (16.12.2014) Передовик Master-X (16.02.2017) Передовик Master-X (01.03.2017) Передовик Master-X (16.03.2017) Передовик Master-X (01.09.2017) Ветеран трепа Master-X (16.09.2017)
Ссылка на сообщениеДобавлено: 06/06/12 в 17:59       Ответить с цитатойцитата 

закинул в корень домена файл robots.txt с таким содержимым:
Код: [развернуть]

и как ни странно гугл проиндексировал
примерно такое:
http://domain.com/dtr/link.php?......тут дохера всего....=http://domain.com/page.html
Почему не проиндексировал сразу http://domain.com/page.html
да и вроде запрет поставил Disallow: /dtr/link.php?
а в выдаче как будто похер на robots.txt
Подскажите в чем может быть причина и как правильно настроить чтоб он индексировал и выдавал прямой котокий адрес http://domain.com/page.html
???

0
 

нет судьбы

С нами с 27.03.03
Сообщения: 4427
Рейтинг: 4204


Передовик Master-X (16.07.2011) Передовик Master-X (16.10.2011) Передовик Master-X (01.11.2011) Передовик Master-X (16.11.2011) Передовик Master-X (01.01.2012) Ветеран трепа Master-X (16.02.2012)
Ссылка на сообщениеДобавлено: 06/06/12 в 18:28       Ответить с цитатойцитата 

Disallow: /cgi-bin/ - запрет всего каталога, включая субкаталоги. Disallow: /cgi-bin/crtr/out.cgi? после этого излишне.
Disallow: /dtr/link.php? - "?" знак в конце строки означает точное совпадение строки. То есть /dtr/link.php? и /dtr/link.php1 уже не попадает под это правило, а тиолько /dtr/link.php Тут рекомедую просто оставить Disallow: /dtr/

®

9
 

Old Oil Barrel

С нами с 09.09.04
Сообщения: 58531
Рейтинг: 14265


Передовик Master-X (16.07.2005) Передовик Master-X (16.10.2005) Передовик Master-X (01.12.2006) Передовик Master-X (01.03.2007) Передовик Master-X (16.03.2007) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 07/06/12 в 00:45       Ответить с цитатойцитата 

гугл индексит файлы закрытые в роботс - да, закрывай не закрывай, но он их не подает в выдачу
в запрсе типа сите:домайн.ком они будут только в вспомогательной выдаче

Правило буравчика

8
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »