Гугл штормит?

но у фишки , да ,
начиная с 3ей паги серпа:
https://www.google.com/search?client=opera&q=site:video-one.com&…p;start=20

video-one.com/popular/Jacuzzi/1.html
A description for this result is not available because of this site's robots.txt – learn more.

robots.txt не до пизды. Да и гугла чтобы обновить индекс надо прилично времени (6 раз сайт переделывал )

Вообще-то, гугл удаляет страницы, запрещенные в robots.txt через 45 дней после обнаружения запрета.

Спс за инфу.

# stat -x robots.txt
File: "robots.txt"
Size: 130 FileType: Regular File
Device: 0,60 Inode: 1612333 Links: 1
Access: Sun Aug 3 10:04:33 2014
Modify: Wed Jun 25 23:30:23 2014
Change: Wed Jun 25 23:30:23 2014


Через 6-7 суток проверю индекс.

Объясните плиз, кто понимает, что означает:

Код:

Allow: /$

знак $ в роботсе.

Цитата:

Спецсимвол $ По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например: Код: User-agent: Yandex Disallow: /cgi-bin* # блокирует доступ к страницам                     # начинающимся с '/cgi-bin' Disallow: /cgi-bin # то же самое Чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например: Код: User-agent: Yandex Disallow: /example$ # запрещает '/example',                     # но не запрещает '/example.html' тогда как Код: User-agent: Yandex Disallow: /example # запрещает и '/example',                    # и '/example.html'

Тыц

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Цитата:

$ designates the end of the URL

т.е. получается разрешить только главную пагу.

мне всегда нравились вечера ахуительных историй

кто не слепой и не ленивый и вобще олдскул может легко понять в чем фишка

все овнеры сайтов знают что гуглу не нравится в их сайтах - там основной тезис - сайты должны быть для людей - а не для ботов

а мы продолжаем лепить по старой схеме все

больше сайтов - больше кейвордов - больше страниц - больше денег - жадность фраера сгубила

как то так

перед баном мне не кисло так СЕ сыпануло на один из сайтов я был рад - но не долго

Неужели и этого будет недостаточно чтобы Лемон переписал smartcj на lua Потому что предположение с роботс.тхт не актуально для моих забаненых пикс сиджей, там кастом галь-то были крохи. Тут либо lua либо осиновый кол сработали.

fish_ka: почем рецепт?
если серьезно, из тут отписывшихся ты вроде единственный кто реально снял бан. респект.

fish_ka:

сайт был забанен за pure spam ? сколько раз отправлял запрос на пересмотр и когда сняли бан ?

sexogen писал:

fish_ka: сайт был забанен за pure spam ? сколько раз отправлял запрос на пересмотр и когда сняли бан ?

да - пуре спам - сообщения в гвт появились через день после бана - бан был 18 июля - разбан вчера

пересмотр отправлял сначала один раз - поменяв сайт - пришел отлуп - потом переделав еще что мог и снова послал - потом через день и еще десять реквестов запулил со злости

а дальше магия

fish_ka: а сколько сайтов так вытащил? не единичный ведь случай как я понимаю?

XZ писал:

fish_ka: а сколько сайтов так вытащил? не единичный ведь случай как я понимаю?

6 сайтов было убито - автоматом у меня и 6ть сайтов я разбанил - так как они на одном движке

мой частный случай не может быть общим - те бан моих сайтов может быть совсем не связан с банами других пиксовых или сжтубов - даже если была одна приичина - пуре спам

у большинства тут поубивало сайты по скриптам массово

я хз как можно что то решить в случае когда 100500 сайтов есть на одном движке итд

Born Leader писал:

Объясните плиз, кто понимает, что означает: Код: Allow: /$ знак $ в роботсе.

Это ты как бы даёшь гуглу намёк, что тебе денег хочется

Создайте, пожалуйста кто-то тему

Lua для тупых

ну на морде еще вывод всего и вся яваскриптом ,
куда дальше думать фишка , напишу я тебе лучше в скайп

Что получается в индексе только морда и страницы категорий.
Галеры с десками выгребающие СЧ и НЧ траф вне индекса. На самих галерах дески тоже удалены. Значит сидж теперь получает траф по двум трем запросам, которые есть в домене? сколько такого трафа будет то?

Nikso писал:

Значит сидж теперь получает траф по двум трем запросам, которые есть в домене? сколько такого трафа будет то?

ну да , как-будто на забаненый домен придет больше трафа , чем на такой =)

у нас лично на главную шло до 70-80% от всего СЕ трафа . у старых сайтов - бОльшая часть букмарщики - которая набирала домен сайта в поиске

Nikso писал:

Что получается в индексе только морда и страницы категорий.

категории тоже запрещены к индексу ж . только морда останется по идее с таким роботсом

edited
а , да , теперь и категории разрешены =)

Понятно что лучше хоть два три кея чем бан. На безрыбье и рак рыба.

вчера поправил роботс.тхт , 5 минут назад пришел отлуп:

"В Google поступил запрос на повторную проверку от владельца сайта http://www.domain.com/.

Мы проверили http://www.domain.com/ и пришли к выводу, что этот сайт по-прежнему нарушает рекомендации по обеспечению качества."

Это просто совпадение. У меня изначально сайты строились с подобным robots.txt, где было разрешено индексить только главную и категории. От банов это не спасает.

Также robots дублируется в meta tags в коде страницы.

Интересно другое. У нас никогда не было гуглвебмастерс и т.д. Баны тоже не запоминаю по датам, ибо сиджи воспринимаю в настоящее время как дорвеи. Дак вот вылез один твинк сайт по нормальному кею, продержался пару недель и срезало траф. Страницы в индексе были, через часа 4 уже видно было бан, страниц в индексе 0. Ну дело привычное, запускаем следующие и т.д. Но сегодня глянул что какая-то сешка болтается на этом сайте, причем идет небольшой рост. Проверил в гугле - сайт в индексе

Так что fish_ka оказался в нужном месте в нужное время. Какой-то откат что ли был по недавнешним банам.

Diablo II писал:

вчера поправил роботс.тхт , 5 минут назад пришел отлуп"

Тоже самое. Видимо без магии никак

у фишки на сайте почти на всех страницах такая надпись "just Google Video One" . Френдли сайты гугл тащит наверх. nudero начал быковать и другой поисковик раскручивать его и забанили в гугле.