Убрать из выдачи cdn.domain.com

Нубский вопрос, но как убрать из индекса гугла сабдомен cdn.domain.com ?

проще всего запретить в robots.txt

а как это сделать, если сабдомен ссылается на CDN, куда robots.txt класть?
есть запись cdn.domain.com as cname blabla.cdn.net

robots.txt класть в cdn.domain.com
писать что-то вроде (надо уточнить):

Код:

User-agent: * Disallow: /

что в роботс писать понятно, не понятно куда его класть, если сабдомен к моему серверу не относится никак

Tartar писал:

что в роботс писать понятно, не понятно куда его класть, если сабдомен к моему серверу не относится никак

класть роботс в корень сабдомена... а если никак не относится, то не запретишь... но если все же можно запретить, спали тут способ, я "сабдомены" конкурентов уберу из индекса

Если бы можно было у себя разместить такой robots.txt.

Вижу такой выход: вычисляешь (спрашиваешь у прова?) ip cdn-Бота, который тянет с тебя файлы.
Отдаёшь ему нужный файл robots.txt ("запрещаю всё и всем").
В итоге на cdn должен упасть нужный файл, а с твоего сервера продолжает грузиться "разрешаю всё и всем" или что-то иное.

В хтакцесс на корне домена

Код:

RewriteEngine On RewriteCond %{HTTP_HOST} cdn\.domain\.com$ RewriteRule ^robots\.txt$ robots_dis.txt

файл тоже на корне домена
robots_dis.txt

Код:

User-agent: * Disallow: /

хотя я может что-то и путаю

Nikso: то что надо, спасибо всем рейтинга насыпал)

главное чтобы rel=canonical стоял на всех страницах.. тогда хоть тыща субдоменов .. и защита от скреперов

сообразил такое решение

в .htaccess

Код: [развернуть]

RewriteRule   ^robots.txt$ robots.php

в robots.php проверяем переменную $_SERVER['HTTP_X_HOST'] и выдаем нужный вариант роботса

вариант Nikso не работает(

Зачем так сложно? Куда смотрит origin cdn?
Допустим в папку /home/domain.com/img/ тогда в эту папку и кидаем robots.txt и он будет доступен по урлу http://cdn.domain.com/robots.txt

в корень домена смотрит, как иначе-то

Может кто знает, как переменную http_x_host использовать в htaccess, похоже нет такой возможности. В http_host просто домен.

Собственно проблема в целом вот в чем. Двигаю сайт http://domain.com/ в гугле. Лью траффик, проставляю ссылки. В итоге по запросу "domain" вижу в гугле на второй странице http://cdn.domain.com/. А чтобы увидеть там http://domain.com/, надо дойти до хз какой страницы, кликнуть по ссылке о том, что некоторые похожие результаты скрыты . Это то ли гугл ебанутый, то ли как.

Последний раз редактировалось: Tartar (29/11/14 в 12:41), всего редактировалось 1 раз

Ну можно и не в корень настроить, у нас так.

Если смотрит в корень то можно так:

Код:

RewriteEngine On RewriteCond %{HTTP:X-HOST} cdn\.domain\.com$ RewriteRule ^robots\.txt$ robots_dis.txt

только убедись что файлы .txt не обрабатываются nginx если он стоит.

Salis: то, что надо, спасибо тебе большое! Про %{HTTP:X-HOST} не встречал нигде.