Как ботов до ротатора не допустить?

Цитата:

Проверяем кукис (т.к. посетитель может уже посещал сайт) если кукис есть, инклудим ротатор если кукиса нет, то ставим и сново проверяем кукис не установился значит не инклудим ротатор.

Поисковые боты гугла очень не обрадуются всем этим манипуляциям, как минимум. Они то тоже боты.

+ 100500 к предыдущему оратору - это называется клоакинг и ПС отправит сайт в далекое пешее путешествие

Цитата:

если кукиса нет, то ставим и сново проверяем

Нельзя поставить и тут же проверить - нужно сделать редирект. А теперь представьте что увидит гугл посетив такой сайт?

сидж и есть одна сплошная клоака, особенно когда скимы разные ставят, для ботов 100% на контент обычно, для трейдеров 50% а для посетителей с ПС - 80% ... китайцев там банят и т.п. ) хуй знает как вообще в баню все не летит сразу ) наверно гуглу тож ссыкотно отправлять в бан практически весь порно интернет, вот и терпит ... хотя уверен что все эти манипуляции он видит и ботов дохуя у него в том числе и тех что под посетителей маскируются ...

Lexikon писал:

А боты куки получают??? Т.е. если бот зашел на мой сайт он уйдет с кукой???

да разные боты есть, в том числе и читеры не крутят допотопными скриптами, нахуя? если есть куча софта типа зеннопостер который на основе IE работает, и куки ставятся и картинки грузятся, и яву исполняют как и любой браузер, вообще полная эмуляция, засыпал проксей и погнал накручивать, а если прокси приватные и не засвечены нигде ...

тоже и с остальными ботами, разные бывают ... я поэтому и хочу трейдовый траф только считать, потому что траф от трейдера хоть проверяется чаще ... а с любым другим часто бывает что смотришь по статсе, типа ого, заебато SE траф идет, ключевики там пишутся в графу ... более пристально посмотрел, опа, а это кто-то тумбы парсит постоянно и запросы шлет с реферером гугла и ключевиками, чтоб не банили )

вообще я конечно рад за тех кто пишет что тумбы заебца строятся, наверно хорошо за трафиком следят ... я вот нихуя не успеваю следить и у меня совсем не строится как надо ... точнее строится там где трафа норм по 50-100к на сиджах, а где по 1-3к и ноурефов всяких дохуища, там полный пиздец, и за год не ротируется ... в топе ваще говнотумбы которых явно быть там не должно, причем и на ст так и на стриме ...

банить в htaccess-ах на сотнях сиджах и ботов выискивать, увольте ) понимаю еще если норм сиджи, то там можно покопать, пофильтровать руками ... а говносиджей когда еще прицеп целый то над чота думать автоматическое ...

и к тому же ротация правильная это в сидже чуть ли не самое главное, во всяком случае не менее важно чем схема трейда, поэтому если есть возможность что-то улучшить, то стоит попробовать ...

ммм, а что мешает дернуть отротированные тумбы для мелких сиджей, с других своих крупных сайтов, темболее хорошо если выбрано 2-3 тумбы для галеры на больших, морды разнообразней будут ?..

ну дак если дергать для других сиджей с одного то и ротатор нахуй не нужен ) скрипт который выборку сделает и раскидает по сайтам 1 раз ) но чета это как-то так ... вдруг задрочится тумба, над чтоб ротировалось, а если ротироваться будет то и сбиться может то что первоначально залил ...

хотя я сча пробовать буду 1 бд делать и считать для пачки сайтов в одной таблице ... точнее уже так строю сиджи ) тобиш к сайту с трафом можно прицепить десяток другой мелких, но клики будет по сути набивать в основном один сайт, потом берется верхушка лучших и раскидывается на все рандомно, а перерисовку сделать почаще ... не знаю что из этого выйдет но посмотреть интересно ... а потом уже займусь тем что в этом топике описывал ... если руки дойдут

Много раз пробовал дёргать с отротированного сайта на новый - в этом есть смысл только ради проды подлива-форсов, имхо. Не могу обьяснить чётко, что не так - но не так, не идёт сидж новый при таком подходе, почему-то.

Что-то не так - потому что тумбы ротируются под "свой" траф на каждом сайте. Да, могут вылезти несколько наиболее популярных тумб на разных сиджах, но морды всегда разные на разных сайтах, хоть и в одной нише и с одними и теми же трейдерами.

ну я не все так тумбы дергаю, а например галер 200 пару морд чтобы было, прода не шибко большая по итогу, да и траф на томже мелком уровне, без се в моей нише сиджи ваще толком не растут остальные галеры уже добавляю на полную ротацию.

libra-team писал:

Что-то не так - потому что тумбы ротируются под "свой" траф на каждом сайте. Да, могут вылезти несколько наиболее популярных тумб на разных сиджах, но морды всегда разные на разных сайтах, хоть и в одной нише и с одними и теми же трейдерами.

позволю не согласиться, у меня на разных сайтах как с меньшим так и большим размером тумб, частиком вылазят в топ одинаковые тумбы, трейдеры везде примерно одинаковые, траф значит тоже, что значит "свой" траф если примерно одинаковый набор трейдеров х.з
разве что когда се прет по разным кеям...

вроде пост запостил, а сейчас смотрю и пусто.
Как то сделал 3 сиджа и решил чтоб не париться с ротацией дерну с одного уже отротированного сиджа верхнии тумбы, ну первых несколько сотен.
Закинул всё это дело в ротатор на новые ресы. Ожидаемого эффекта так и не получил.
Поэтому сейчас делаю по другом, есть база с несколькими тысячами тумб. Закидываю их в ротатор. Поливаю рес трафом, тумбы ротируются позиции у трейдов растут, на определенном этапе прекращаю подлив, делаю ресет по всем тумбам и они начинают уже ротироваться чисто на трейдеровстком трафе. При этом настраиваю всё так чтоб каждые 10 дней был ресет и тумбы выстраивались по CTR, и в ресет добавляю новые тумбы. Впринципе незнаю как в других ротаторах но в ДТР это можно сделать так чтоб все постоянно кружилось и жило

А я сколько не занимался секасом в дтр - не смог достичь результата лучше, чем при отключённых ресетах Но это уже офтоп.

вот скажите такой момент
crystal+inxy
вот думаю сделать страницу вида index2.php и как гаворил Woland: добавлю трейдера и средерекчу всех роботов на эту пагу
могут ли за забанить или еще что-то? на странице index2.php думал поставить каноникал но скорей всего не буду бо для роботов будет замкнутый круг походу

кто, что думает?

Воланд такого не говорил Ты не средиректишь ботов, ты клики этих ботов туды пустишь, если следовать тому, шо говорил Воланд А клики на сидже ты и так хуй пойми как раскидываешь и думаю особо картина не изменится от того, что бот будет идти на другую страницу, а не на галю или не на трейд.

Woland писал:

Воланд такого не говорил Ты не средиректишь ботов, ты клики этих ботов туды пустишь, если следовать тому, шо говорил Воланд А клики на сидже ты и так хуй пойми как раскидываешь и думаю особо картина не изменится от того, что бот будет идти на другую страницу, а не на галю или не на трейд.

так вот же ты писал

Woland писал:

дык добавь урл, как трейдера (или фидера) и заебень через схему (в свойствах трейдера robots) слать на него, делов то ... это и всех остальных касаеца трейдеров в кристале - через схему мона всё настроить, я так нокуки настраивал, когда была это ёбань со спамом через аут трейд скрипта и шли на меня абузы. Но ... в кристале robots это то, что имеет юзерагента робота (гугл, хуюгл и т.д.) - а по факту далеко не все поисковые боты имеют юзерагента, т.е. не всё попадает в robots

ввел в заблуждение меня и всех остальных , так как я гаворил именно о редеректе роботов на другую страницу, а ты про редерект кликов

теперь вопрос наверное больше к спецам кристала каже всетаки страницу средеректить? пойду спрошу в аське

Ну может мы не поняли друг-друга. Редиректить на входе ботов я бы не стал, имхо гуглы не поймут этого.

Woland писал:

Ну может мы не поняли друг-друга. Редиректить на входе ботов я бы не стал, имхо гуглы не поймут этого.

а если сделать на оборот, а именно средеректить всех трейдеров на другую страницу? на тотже index2.php(закрыть ее от индексации) и там ротация а на главной морда с прямыми ссылками, так по идее даже лучше будет

Сделал проще. На сидже сверху, снизу и посередине ставиться линк вида

Код: [развернуть]

<a href="/out.php"><img src="/1x1.gif" width=1 height=1 border=0></a> или <a href="/out.php"></a>

Код out.php

Код: [развернуть]

<?php define( 'ROOT_PATH'  , "./" ); # User Robots Agent we passed $robotList = "/bingbot|googlebot|yahoo|msnbot|yandex|trend micro/i";     if (preg_match ($robotList, $_SERVER['HTTP_USER_AGENT'])) { //   header("Location: http://google.com");    exit();    } BanIP (); function BanIP () { #Ban IP via .htaccess   $denyData = "\ndeny from ". $_SERVER['REMOTE_ADDR'];   $fh = fopen(ROOT_PATH . '.htaccess', 'a') or die("can't open file");   fwrite($fh, $denyData);   fclose($fh); } ?>

Поначалу список заполнялся быстро, а потом все медленнее и медленнее. За три месяца наросло чуть больше 200 адресов.

сделал так, в ротаторе две морды. одна для трейда. вторая для ботов. отличие только втом. что в субтемплейте ротатор выдает прямые линки (для ботов). в индекс пхп делаем проверку, если в юзерагенте есть слово bot или spider, инклудим морду для ботов. если нет - морду для трейда. таким образом имеем 100% ским для поисковых ботов и они не портят статку по тумбам. пока тестирую результат.

sarduor: Соотношение числа ботов с юзерагентом и ботов без него совсем не в сторону первых. Так отфильтрует часть, меньшую часть - а чё ты думаешь народ для клоакинга базы IP (поисковых ботов) собирает и ищет актуальные ?

Woland: сенкс за разъяснение, только я в курсе
смысл же не в клоакинге. те гугльботы которые под серфера маскируются сильно то же погоды не сделают по ротации. а вот в остальном будет + думаю. та же баиду заебывает не хило.
ещё можно по языку фильтровать, у ботов нет поля обычно HTTP_ACCEPT_LANGUAGE или no_lng.
п.с. кстати никто популярно не разъяснит смысл Trades Satisfied URL в TradeX? я вообще не понимаю его значения. только если на тдску оотправлять. но как по мне лучше на контент то.

Последний раз редактировалось: sarduor (06/04/12 в 11:20), всего редактировалось 1 раз

почему только на ТДС-ку? можешь например на сайт свой какой-нить, например можно индексацию ускорить другого сайта своего перенаправив туда ботов всех ... да мало ли зачем пригодиться может ...

а вообще там много как-то сделано коряво, типа спиздили фитчу с протона а для чего она разбираться не стали ... как например трехпоточность трейда по странам есть а возможности редиректить разные категории трафа чета не видно, забыли сделать что-ли ) форсы как ставятся мне совсем не нра, даж не видно поставилось или нет пока в аут лист не заглянешь ... как-то так все ... но зато открыт код и можно доделать при сильном желании, это все минусы перекрывает ...

Цитата:

но зато открыт код и можно доделать при сильном желании, это все минусы перекрывает ...

Открытый код это как ? Он платный или как сие происходит, расскажи, а то я чёт не в теме ?

ну так полностью открытый код, вообще все файлы можно модифицировать по своему усмотрению ... тобиш ничего не зашифровано и не вытянуто в одну строчку ... нормальный ровненький код с каментариями ...

только кусок где-то есть с лицензией зашифрованный

по цене совсем халява, первый домен 25 остальные по 20

по функционалу практически копия TP, судя по всему TP и был взят за основу, большинство функций совпадает и также база на файлах сделана и т.п. вроде работает норм, во всяком случае в бурж много сайтов видел на нем, сам правда не понял еще как трейдит, пока пяток сиджей на нем сделал, не успел разогнать толком ... но думаю если и будут косяки то можно подправить самому ...

ну и TGPX думаю все знают, тоже jmbsoft.com лучший скрипт для TGP наверно, но и как ротатор вещь охуенская, если разобраться как работает и за счет того же открытого кода, то можно сделать на нем все абсолютно ... ну и цена также смешная 25 а серверная лиц 50 )

имхо для толпы мелких сайтов заебатое решение, где платить за кристалы и смарттумбсы нереально дорого кажется, а % сливать не хочется ... а кстати я % сливать не хочу не по той причине что жалко, а по причине что не люблю когда траф льют на брокеров, и при клике очередном какая-нить хуйня малварная откроется

и еще скрипт хоть и новый совсем но не поддерживается нихуя, главный изобретатель в отпуске или хуй знает где, поэтому никто там пожелания пользователей исполнять не станет ... хотя я думаю если фиксы какие-то срочные то сделают и в общем-то делают ... типа можно считать что без поддержки, ну или поддержка рестриктед ) да в общем то код открыт, да и работает вроде все ... поэтому и так норм

версии за % трафа типа "бесплатной" у этих скриптов нет по понятной причине и так копеечной цены ...

домены не переносятся, т.е. на какой домен купил на такой и будет, перепривязывать лиц. никто не станет, ответят чтоб еще скрипт покупал ) тоже понятно почему, ведь глупо ставить сумму перепривязки больше стоимости скрипта )

юзер мануалы к скриптам нормальные вполне, структурированы ...

дополню немного. продажа только палка или по карте. после покупки скачиваешь пакет для инсталяции, есть авто, есть ручной архив. привязка происходит сразу на сервере продавца к определенному домену. ну и полностью все файлы в открытом виде. в принципе для мелких сиджей самое то, особенно в узких нишах. код везде комментирован, как уже писал cdroller. формирование аут листа конечно сильно упрощенное будет. ну и мануалы на инглише
я короче строку отправки на этот урл Trades Satisfied URL закоментировал, чтоб отправляло на контент. а для ускорения индексации с других сиджей ставлю ссылки прямые. я так понимаю там так реализовано, если заканчиваются трейдеры, то скрипт отправляет вместо трейдера на Satisfied URL. но допустим если у тебя все сиджи в трейде и сливать тебе некуда? логичнее было бы предоставить пользователю право определять, слать на этот урл, или на контент.
по поводу того что уходит 1% кликов на других скриптах (и +1% ещё и с ротатора). не раз сталкивался с тем, что во-первых траф уходит не в нишу, и во-вторых уходит на хз что, куча попапов или ещё какая фигня. так что портить узконишевый траф, имхо, не рационально.
cdroller, ты там никаких фич не добавлял? а то мож подсказал бы что?

Надо будет попробовать, а то иногда в голову лезет какая-то дурь, попробовать которую мона только сразу на открытом коде

sarduor писал:

cdroller, ты там никаких фич не добавлял? а то мож подсказал бы что?

не, пока только изучаю и планирую что добавить ... недавно юзать только стал, не успел разобраться толком ... да еще и ман не читал даже ) по началу думал чо за хуета масс редактирование не работает, меняю чота, а ничего не меняется ... и мессага какая-то сверху, что меняется когда red ... вот допетрил тока с 5 раза, что над на пояснения к полям торкать чтоб они red стали, тогда редактируется ... а то уже в код лезть собрался, искать что не работает ) так что я пока нуб в скрипте этом, над побольше поюзать, тогда яснее будет что не так в нем и что улучшить ... и сайтов побольше, чтоб понять как трейдит ...

но пока только положительные впечатления ... даж фитча есть, которая бы в кристалле не помешала - синхронизация настроек ... типа новый сидж делаешь и можно со старого синхронизировать все скимы и прочие настройки по выбору, хоть трейдеров ... удобно