Гугл штормит?

я делал sh файл, в него совал всего 5 ротов, меджу ними делал sleep 300 секунд и пихал этот сш файл в крон на запуск раз в 20 минут... один хуй за сутки оно копилось и сервак уходил в жопу слледовательно даже 5 минут не хватало роту что б отработать спроси хаевм-а он там еще с какими-то lock делал, тоже не спасало нихуя


а ща такой зашел увидел что нихуя давно не запускалось и говорит что все работает заебись афтар мудак давно ниче не запускал... если бы, ога

svhc: я не хочу устраивать тут оффтопик.
Я уже понял что твоя основная забава - это писать как все плохо и мы все умрем.

Если ты хочешь разобраться с вопросом - скидывай данные суппорт посмотрит.
Жаль что ты не догадался до такого простого действия ранее.

Больше по данной теме в этом топике писать не буду.

XZ писал:

Axcel: фигню ты написал, аут который редиректит каждый раз на разный трейд ничем не лучше аута кидающего то на трейд то на контент

Поспорь с кем-нибудь другим какой аут лучше. Может, трафа на сиджах прибавится.
Мы все хотим найти работающую схему трейда, не попадающую под бан гугла. Надо пробовать все стоящие варианты.

SteelArt писал:

Интересное чтиво. Прочитал, ахуел и приуныл.

Понравилось про неправильных пчёл

Цитата:

High pageviews just means the p0rn freeloaders of the world are too cheap to subscribe to MetArt OR they are und rage and daddy took away their credit cards.

То есть все дураки кроме самого гугла и его модераторов, пользователи - нищеброды, вебмастера - лодыри, которые ничегошеньки сами уникального сделать не могут, а партнёрки - идиоты, потому как неправильным маркетингом занимаются.

Размышления
Гугл убрал весь неуник из выдачи, победили партнёрки. У них взлетает СЕ, но в ноль падают рефералы и реклама(хорошо это или нет - вопрос спорный). Часть нищебродоволюдей дальше гуляет по выдаче, но либо не находит ничего для себя и идёт в другой поисковик, либо начинает натыкатся на торренты, чаще чем раньше, потому как там супер уникальные описания и комментарии, и нет тонны сиджетубов, посреди которых они терялись раньше. Торренты не так страшны для гугла как сиджы, потому что способов борьбы больше и бороться уже будет он не один, а вместе с партнёрками, студиями и т.д.
Тут самое время студиям, маленьким и не очень спросить у гугла, как же нам конкурировать с другими, раньше мы давали хороший конент и условия партнёрам, а сейчас? Может эдвордс? почему нет, собственно говоря

Как бы докапаться до сути, чего этот монстр хочет на самом деле, к чему всё это делает.

та я-то уже не хочу давно, это тебе должно быть интеерсно, а не мне

LemonS писал:

svhc: я понимаю не по теме, но не я начал это, а кому-то полезно будет. fish_ka: у меня было 3 человека кто спрашивал когда смарт будет переписан на lua, а из суппорта хостинга говорят что люди стучат и просят забанить ИП гуглоботов. Пожалей людей )) ЗЫ в плане и мастеров, и нас и суппорт )

"да иди ты на хуй - вот и все что я тебе могу сказать" "с"

я понимаю что не по теме - но кому то - точно будет полезно

этот бизнес как эволюция - многи участники этого топика начинали тогда когда слово "ротатор" не существовало - ничего как то выживали же

и счас все выживут и лимон и ротаторы и все участники - нужно только найти ниточку у этого клубка под названием "выдача" - когда ты нашел конец и раскрутил моток "информации" - остается сделать подобное то что ты видишь "живое" в выдаче и все -

враг у нас один - мат катс - ну и у него помощники есть - наша лень - наш алкоголизм - наше нежелание работать - наши рабочие скрипты которые лень переделывать - одним словом всего достаточно

"кто то будет на коне - а кто то под конем" "с"

DrDick писал:

Может эдвордс? почему нет, собственно говоря .

гугл уже и оттуда начал выпиливать "порнографический материал " , поищи на гфу топики.

fish_ka: не сомневаюсь что тебе полезно занять чем-то конкурентов ))

DrDick: про неправильных пчел - это ответ не гугла, и не работника гугла, а активиста форума, который не получает за это денег, а только тешит свое эго. Это известная картинка о том "типа все плохо ? - стань модератором"

Условно мы продаем телевизоры. Вся выдача забита разными моделями. Убрали неуник - остались в выдаче самсунг, лж и тп.
Тут мы выпустили новый телевизор "супертв", маленькая студия - как его продвигать с точки зрения гугли: сделать обзоры, просить что б другие сайты постили обзоры продукции и тп и таким образом набирать социальный вес - это поднимет в выдаче наши ТВ.

Для нас как производителя конечно было бы проще сделать иначе - дать партнерам такую цену, при которой они могли бы зарабатывать больше, а партнеры уже занимались бы продвижением именно наших тв в магазинах.

Конечно вариант адвордса тут работает, но взрослый контент в адвордсе запрещен.

Эта та же проблема кстати, которая есть в приложениях для мобильных - есть эппстор или гугл плей.
90% денег получают приложения из топа где есть и крупные компании и мелкие.
8% получают еще крупные у которых много приложений и одно рекламирует другое.
2% получает как получится.

Как только приложение вылетает из топа кол-во установок резко падает.
При этом, к принципиальности гугла, - в апстора есть партнерка, у гугла закрыли. Те возможностей продвигать через аффилиэйт нет. Только заказные статьи и тп.

Те достаточно жестокие условия работы не только в связи с выдачей тут.

PS забавно видеть рекламу гангброз на ютубе, 6к просмотров, не знаю как быстро оно туда попало.

sexogen писал:

гугл уже и оттуда начал выпиливать "порнографический материал " , поищи на гфу топики.

оно развре там разрешено? я к тому, что в выдаче "мобильный телефон" у тебя куча рекламы, а так будет релкама и по запросу "порно фильм".

LemonS:

то что ты оправдываешь свой программный продукт это нормально, возможно через пару дней ты выдашь на гора кучу кода и гугл перестанит банить сайты на смарте - это будет то о чем все мечтают - это просто превращение воды в вино будет

просто до этого момента никому и дела нет - как и что там у тебя работает - медленно или быстро - народ потратил время на сайты и они сейчас в бане гугла - все то понимают что виноват гугл - но все равно косо смотрят на смарт -

"куришь пьешь и не женат - это гугл виноват" "с"

но гугл и панацея - он счас в выдаче показывает сайты которые растут - разные и их много - даже просто смотреть на эти сайты доставляет сразу +500 в карму


осталось допилить смартсж чтобы он такие сайты делал и все будет пучком


все вперед на захват гугла - главное не надорватся по дороге

Забавно наблюдать как создатели скриптов говорят "Это не скрипт виноват, скрипт тут непричем, это всё гугл!". Однако..

FTT2 после фильтров и банов обновили скрипт, чтобы кука не палилась.
StreamRotator допилил мануал по реврайтам, убрал старый параметр ротации из урла.
Crystal сначала сделали рандомную и настраиваему куку, а затем, поняв, что фильтруют сайты не только за куки, но и за пути /crtr/, обновили скрипт и теперь можно менять директорию.

Smart CJ тоже допиливается чтоб можно было рандомизировать.


Даёшь конкуренцию

Diablo II писал:

не на всех скриптах так кстати , у нас траф уебался , а la и не подумал проседать от размера баз все зависит в основном , в кол-во трафа нагрузка вообще не упирается . т.е. сайт с 500к галер , 1к трафа на борту может так же пожирать вычислительных ресурсоф, как 500к галер и 100к трафа на борту . а если 50к база при 200к трафа - так такой сайт еще меньше нагрузит сервер , чем первый =)

Мне пришлось к примеру переехать на другой сервер не по тому что там базы или траф, а кроны делали неприятную нагрузку, даже при том что они были разнесены. Использую ДТР + Кристал

Wskeal писал:

Забавно наблюдать как создатели скриптов говорят "Это не скрипт виноват, скрипт тут непричем, это всё гугл!". Однако.. FTT2 после фильтров и банов обновили скрипт, чтобы кука не палилась. StreamRotator допилил мануал по реврайтам, убрал старый параметр ротации из урла. Crystal сначала сделали рандомную и настраиваему куку, а затем, поняв, что фильтруют сайты не только за куки, но и за пути /crtr/, обновили скрипт и теперь можно менять директорию. Smart CJ тоже допиливается чтоб можно было рандомизировать. Даёшь конкуренцию

да скрипты всего лишь общий признак - их признаки можно маскировать

совершенно непонятно как замаскировать неуникальность пиксо-мувисного контента который у всех 1 в 1

дело начинает попахивать массовыми очередями на трудоустройство в макдональдс ;)

DrDick писал:

оно развре там разрешено? я к тому, что в выдаче "мобильный телефон" у тебя куча рекламы, а так будет релкама и по запросу "порно фильм".

да хватало и прилично теперь и там лавочка прикрылась, так что версия что гугл хочет всех туда загнать и заставить платить отпадает.

Wskeal: у смарта сейчас можно трейдить вообще без куки, в любом каталоге с любыми линками и тп, это было сделано видимо раньше всех.

Однако я писал о том, что бан не просто по кейворду не потому что лень доделывать что-то (это уже было доделано), а потому что если бы было желание по конкретному кейворду вынести из выдачи, то гуглу это не составило бы труда - так же как не составляет труда ввести в гугл этот кейворд (каталог, страницу сайнапа и тп на свой вкус) и увидеть что там все так же есть сайты где это все не прячут и тп.


Кстати, какое-то время назад я двигал идею о том, что надо трейдить не рендомными аутами, а аля плагами когда попадаешь на сайт трейдера не рендомно с аута, а с конкретной тумбы на конкретную страницу трейдера с этим видео.

Занялось этим по пальцам пересчитать кто.

А сейчас судя по тому что они не банены, то возможно это была неплохая идея не только с точки зрения разнообразия.

voBra писал:

да скрипты всего лишь общий признак - их признаки можно маскировать совершенно непонятно как замаскировать неуникальность пиксо-мувисного контента который у всех 1 в 1 дело начинает попахивать массовыми очередями на трудоустройство в макдональдс ;)

Может не делать внутренних страниц с эмбедами вообще?

Например только морда, страница latest(с сортировкой по дате), и longest по длине.

А вот как уникализировать тумбы непонятно. Точнее непонятно как именно гугл определяет уникальность картинки.



Меня больше другое пугает. Допустим гугл отстанет от скриптов, и пох ему будет на ским, да и на неуник тоже, допустим.
Но, когда он вычислит, что сиджи поднимаются в выдаче ТОЛЬКО потому, что имеют входящие ссылки с других сиджей таких же(зачастую от сайтов, которые расположены на том же сервере ), и тупо ссылаясь друг на друга накручивают ссылочное ранжирование. То гуглу просто легче будет не учитывать эти ссылки вообще, или фильтровать за такой обмен. И тогда не надо никого банить, не надо вычислять ским, скрипты. Сиджи просто не будут так высоко находиться в выдаче.

Я вообще удивляюсь почему он до сих пор этого не сделал. Ведь нормальные люди сами на сидж ссылку никогда не поставят То есть практически вся ссылочная масса накручена ссылками с топлистов с подобных сайтов(ну или с покупных, но редко кто скупает).

Гугл просто так не шлёт трафик, даже если сайт такой весь уникальный, красивый и распиздатый.


И непонятно как так быстро стреляют сайты типа kala.mobi и прочие .mobi его.
Как он так быстро ссылочное накручивает, или у него тысячи сайтов, с который единовременно проставляет тонны ссылок, то ли хз.

Wskeal писал:

ссылочная масса накручена ссылками с топлистов с подобных сайтов

это по началу... когда Се идет там шары летят тока в путь...

svhc писал:

это по началу... когда Се идет там шары летят тока в путь...

да вот непонятно работают ли эти шары для се или нет.
Многие социалки вообще в nofollow ставят эти шары.

Есть сайт, не забаненный, не под фильтром. Где много шар стоит на внутренних страницах(страницах с эмбедами). Так вот на эти страницы вообще се траф не приходит, несмотря на то, что они в индексе и не выпадали оттуда никогда.

У кого остались живые старые сайты на эмбедах(или на flv), где на страницах с видяхами много шар, можете глянуть куда траф идет. На морду или на страницы с видео. Это можно сделать как и в смарте, так и в гугл аналитиксе или другом счетчике.
Так вот думается, что 95% се трафа идет на морду.

Если трейд идёт страницами категорий, то есть на страницы категорий есть входящие ссылки с других сайтов, то возможно и туда траф идет. Но точно не на видео с шарами.

Wskeal писал:

Забавно наблюдать как создатели скриптов говорят "Это не скрипт виноват, скрипт тут непричем, это всё гугл!". Однако.. FTT2 после фильтров и банов обновили скрипт, чтобы кука не палилась. StreamRotator допилил мануал по реврайтам, убрал старый параметр ротации из урла. Crystal сначала сделали рандомную и настраиваему куку, а затем, поняв, что фильтруют сайты не только за куки, но и за пути /crtr/, обновили скрипт и теперь можно менять директорию. Smart CJ тоже допиливается чтоб можно было рандомизировать. Даёшь конкуренцию

Всё это охеренно, но надолго ли?

P/S/ Самое интересное это то, что, когда я обновил первый раз кристал, как раз когда они сделали рандом с куками, через время траф вернулся, а затем стало расти, затем гугл, что то обновил и сново всё снеслось к ебеням, уверен, что все эти изменения не на долго, всё палится через тот же хром, и думаю чем дальше в лес, тем злобней санкции, типа - "А! Наебать меня взумал! Держи бан!" Вот и все дела.

Кстати, сейчас идеальный момент для новичков.

Масса крупных мастеров вынесена из выдачи, а конкурировать с ними было сложно и по кол-ву проиндексированного и по беклинкам и тп.

Никто не знает точного рецепта - соответственно тот кто первый нащупает тот и сможет вылезти.

Самое время сделать что-то новое и конкурировать с чистого листа.

svhc писал:

я делал sh файл, в него совал всего 5 ротов, меджу ними делал sleep 300 секунд и пихал этот сш файл в крон на запуск раз в 20 минут... один хуй за сутки оно копилось и сервак уходил в жопу слледовательно даже 5 минут не хватало роту что б отработать спроси хаевм-а он там еще с какими-то lock делал, тоже не спасало нихуя а ща такой зашел увидел что нихуя давно не запускалось и говорит что все работает заебись афтар мудак давно ниче не запускал... если бы, ога

1) Делаешь бекап баз.
2) В разделе Tags удали все теги, и сделай white list для тегов, потом reassign tags сделать, размер баз уменьшиться и не будут запросы тупить. Когда у тебя дохулиард мусорных тегов в базе это не прикольно

3) во всех базах надо очистить таблицу rot_pages_items, можно таким скриптом

Код: [развернуть]

#!/bin/sh PATH='/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin:/usr/X11R6/bin' DBS=`mysql -Ne "show databases" | egrep -v 'information_schema|performance_schema|mysql'`; for DB in $DBS; do         TABLES=`mysql $DB -Ne "show tables"`;         if echo $TABLES | grep " rot_page_items " > /dev/null 2>&1; then         echo "Cleaning $DB.rot_page_items";                 mysql $DB -e "truncate table rot_page_items";         fi done

4) сделать оптимайз для баз mysqlcheck -F -A -o (лучше наверно на минут 5-10 вырубить кроны и apach/nginx) , а то сервак теоретически сложить может пока оптимайз делать будет.

5) Перезапускаем мускуль, нужно для того чтобы память освободить после очистки таблиц.

6) Можешь включить все кроны на запуск раз в минуту. Будут успевать выполнятся за минуту. И база пухнуть перестанет и смарт сможет нормально чистить её

p.s. видел базы смарта и по 50 гб

Последний раз редактировалось: Evial (12/06/14 в 20:34), всего редактировалось 1 раз

дабл

Sargas: Не вкурсе, не это ли та же причина, когда все кроны SCJ в sh файлике и периодически сообщения типа
Cron Load?: Started at 2014-06-12 14:13:15 but not finished yet at 16:14:05
?

Возможно та же проблема, а возможно просто в файлике кронов очень много или sleep'ов много, или кроны там последовательно запускаются и не в фоне. Покажи содержимое файлика. Так же руками нужно файлик запустить на выполнение и время засечь. За сколько все кроны отработают, при этом смотреть mysqladmin pr -v -i1, нет ли там запросов, которые сильно долго висят


Бывают случаи когда в базе несколько миллионов галер, куча груп и в каждой группе по 200к галер
На таких сиджах rot.php за минуту не отрабатывает, в других случаях проблему с кронами можно решить.