Smart CJ для тупых :)

LemonS писал:

1. скормить за 1 раз 200к галер не получится в любом случае - скорее всего оно ему не хватит памяти разобрать это все. Потом кто-то забудет про этот импортсет и оно будет грузить сервак.

Зачем ему столько памяти? Разобрал 1 строку положил в базу, след строка. Если оно НЕ так, значит это баг. Если кто-то забыл про импорт-сет это НЕ должно быть проблемой для остальных. Из-за этого "кто-то" скрипт обрастает кучей ограничений.

LemonS писал:

2. добавление через импортсет займет столько же же времени как и добавление "всего сразу" потому что надо сграбить тумбы, сделать гали и тп. По дефолту граббер делает 3 гали в минуту = 180 в час, импортсет добавляет 500 в час. Никого смысла бахнуть все сразу нет, все равно обрабатываться оно будет дольше.

Если поставить 100 галер в минуту, то все гораздо быстрей будет? Щас везде цдн и все качается очень быстро, зачем ждать месяц то.

LemonS писал:

3. Лишних трудозатрат примрено на 1 минуту - делаем в нужном месте wget "domain.com /export?search=key&limit=200" >dump.txt - вместо domain.com /export?search=key&limit=200 в импортсет добавляем domain.com/cut.php?file=dump.txt

Таких урлов будет много, они меняются, и надо обновления также ловить. Вдруг чтото пропустится в этот лимит 500?

А удаленные? Там тоже за раз больше 500 штук бывает как я говорил (xvideos за сутки по 10к может удалять), и оно появляется разово, а не по 10 в час. Зачем придумывать весь этот зоопарк, если можно сделать как было. Если ктото непонимает что убьет сервер - это его проблемы. Щас также можно поставить 10000 галер в минуту качать, тоже будет сервер/каналы убивать? В следующем аппе тоже лимит появится, максимум 3 в минуту?

Может проще нанять саппорт который будет отбиваться от "умников", если из-за них урезается функционал? И дать нормально работать тем кто понимает что может убить сервер.

Hola:

1. другого глобуса у меня нет. Людей у кого были пробелмы с этим больше чем тех у кого не было, ориентируются на большинство.

2. 100 в минуту оно все равно не сможет. сделать тумбу из большой картинки это грубо секунда + скачать + тумб больеш одной, итого разница получается небольшой, ну будет не 500 в час , а 1000 например. займет граббинг дольше немного, зато будет ровная нагрузка сервака, плюм то что 50к добавлено будет позже никак не повляет, тк за эти часы разницы оно 100к все равно не отротирует.

3. можно менять добписывая в нужный файл c >>

что может пропуститься и как я не понял, поясните примером.


Удаление аналогично. 1 импортсет с cut.php?file=deleted.txt а все удаленные пишутся в этот файл. грубо по крону wget http://your-script >> deleted.txt . даже если импортсет не успеет все достать из этого файла - новые просто допишутся в конец.

Если у кого-то пробелма это пробелма суппорта, а не кого-то там.
Ваша проблема решается за 5 минут через указанный способ.
Вы уже потратили минимум в 6 раз больше.

Оффтопик: Постинг ссылок разрешен только по достижению 30 постингов или 30 дней с момента регистрации

LemonS писал:

Hola: 1. другого глобуса у меня нет. Людей у кого были пробелмы с этим больше чем тех у кого не было, ориентируются на большинство.

Как вели подсчет? Как Вы посчитали людей у которых НЕбыло проблем? Я думаю их какраз большинство. И получается для меньшинства ввели ограничение/убрали кнопочку очистки кеша.

LemonS писал:

2. 100 в минуту оно все равно не сможет. сделать тумбу из большой картинки это грубо секунда + скачать + тумб больеш одной, итого разница получается небольшой, ну будет не 500 в час , а 1000 например. займет граббинг дольше немного, зато будет ровная нагрузка сервака, плюм то что 50к добавлено будет позже никак не повляет, тк за эти часы разницы оно 100к все равно не отротирует.

Это уже лирика, тумбы невсегда надо качать/резать/ротировать. Представим что тумбы уже отротированны их надо только скачать.

LemonS писал:

3. можно менять добписывая в нужный файл c >> что может пропуститься и как я не понял, поясните примером.

Как обновления получать? Также раз в сутки бегать в ssh качать файл wget'ом?

LemonS писал:

Удаление аналогично. 1 импортсет с cut.php?file=deleted.txt а все удаленные пишутся в этот файл. грубо по крону wget >> deleted.txt . даже если импортсет не успеет все достать из этого файла - новые просто допишутся в конец.

Зачем все это городить я непойму, надо поддерживать всю эту кучу файлов/кронов, для чего это вообще придумывать, если это решается снятием неясного ограничения для меньшинства?

LemonS писал:

Если у кого-то пробелма это пробелма суппорта, а не кого-то там. Ваша проблема решается за 5 минут через указанный способ. Вы уже потратили минимум в 6 раз больше.

Ну мне было сказано что лично Вас замучали в аське постоянными вопросами, отсюда я делаю вывод что саппорта нету.

А проблема не решается за 5 минут, доменов 20 для примера, если их 100 будет? Все время сидеть в ssh качать дампы? Бред ведь.

Heganmedia писал:

Время интервала прошло, Init model thumb появляется после того как буден указан интервал генерации тумб.

да, действительно сначала отмеряло время интервала, а потом создавало. Поправлено что б первый раз создавало сразу.

Hola:

1. Мои наблюдения и выводы гарантированные годами работы в суппорте. Сомневаться не приходится.

3. Обновления 100-200-500 в час в большинстве случаев. Больше тубы не добавляют. Если у вас какой-то недостаточно смышленный агрегатор, который умеет выдавать только сразу много и никак не может выдать порционно - пишите весь этот большой его результат в файл и через cut.php скрипт будет постепенно разбирать этот файл.

Трудозатраты больше только на время запуска wget "domain.com /export?search=key&limit=200" >dump.txt для каждого из сайтов. Все остальное действия совпадают 1 в 1. Максимум минута на набирание этой строки если одним пальцем набирать. Делается 1 раз при запуске.

Кроме того, у вас всегда есть возможность дописать немного строк в ваш агрегатор дабы он выдавал порциями, а не все сразу и таким образом решить данную проблем без необходимости дописывания cut.php

А зачем редактировать свое сообщение и добавлять "решение" до нашего диалога: Был вопрос как импортировать сразу и много. Думаю стоит опубликовать рецепт. ?
Само решение еще с дырой, а ктото его поставит и потом будет думать, а откуда появились непонятные ифреймы и редиректы?

LemonS писал:

Hola: 1. Мои наблюдения и выводы гарантированные годами работы в суппорте. Сомневаться не приходится.

Тех у кого проблемы их меньше правильно?

LemonS писал:

3. Обновления 100-200-500 в час в большинстве случаев. Больше тубы не добавляют. Если у вас какой-то недостаточно смышленный агрегатор, который умеет выдавать только сразу много и никак не может выдать порционно - пишите весь этот большой его результат в файл и через cut.php скрипт будет постепенно разбирать этот файл. Трудозатраты больше только на время запуска wget "domain.com /export?search=key&limit=200" >dump.txt для каждого из сайтов. Все остальное действия совпадают 1 в 1. Максимум минута на набирание этой строки если одним пальцем набирать. Делается 1 раз при запуске. Кроме того, у вас всегда есть возможность дописать немного строк в ваш агрегатор дабы он выдавал порциями, а не все сразу и таким образом решить данную проблем без необходимости дописывания cut.php

Сразу видно, человек пишет о том в чем мало разбирается. Дамп xvideos как часто обновляется? Дамп удаленных видели? Пробывали с этим работать? Я вижу что нет, иначе не предлагали бы такие не "трудозатратные" решения, только ненадо придумывать очередные костыли. Агрегатор тут непричем.

Как из импортсета говорить агрегатору что очередные 500 съели?

Глупо спорить с очевидным, обрезание функционала чтобы немучали саппорт выглядит очень не профессионально. Как можно строить работу с таким продуктом, где в угоду лени саппорта ставятся ограничения на работу. И нету гарантий что в следующем апдейте не пропадет чтото, которое оказывается убивает сервер у 1% пользователей.

Хочу спросить у форумчан:
- кто и как добавляет контент в смарт? Руками по чуть чуть?

- как теперь редактируете шаблоны без чистки кеша? skip_cache и быстро пробегаетесь по 200к урлам? Всего-то 0.5сек на ссылку, подумаешь 100 минут побегать? Или все уже выучили как в ssh быстро почистить memcache/redis/Couchbase ?

LemonS писал:

надо добавить во все строки с /gallery - &send_to_source=true и если надо что б сразу заработало - прибить кеш

Нету такой штатной функции, зачем такое советовать? В свете 50 апдейта выглядит как издевательство.

Hola: есть F8.

LemonS писал:

и в scj/cgi/common.php так же ?

Точно так же.
Файлы одинаковые!

Несколько десятков копий запущено, все через файл scj.sh

приходит такое сообщение на мыло:
tail: >: No such file or directory
tail: ../logs/tmp: No such file or directory

Как узнать, где не хватает?

Semen_ssr писал:

Hola: есть F8.

Что такое F8, удаление файлов? На сайте с 200к галер таких фалов и папок очень много, удаление может длиться часами, и лазить по ftp/ssh чтобы почистить кеш выглядит странным. Скрипт вместо развития деградирует...

Поделюсь тем, что мы недавно обыграли.
Ни для кого тут не секрет, что с использованием темплита content_single_item можно сделать отдельную .html для каждой пиксы, но по моему мнению - кроме как дожать с продаж и доп рекламы пришедшего посетителя именно с темплита content_custom_pic - не получится, страниц в site:example.com ни на одном сайте я не нашел, а хотелось бы, при ляме паг даже 2% это уже что-то. Гугле их тупо не индексирует, объяснение очевидное, кроме как графическим объектом паги не отличаются, а их на галлеру 5-12-15-18 штук и того имеем 5-12-15-18 дубликатов, то что называется соплями (supplemental results). Можно долго рассуждать утерли сопли гуглу их или нет, но ранее известно, что чем больше % склеек тем хуже для сайта. Самое важное в паге это title, один из простых вариантов был добавить

Код:

<title><!--ALT--> #<?php echo $_GET['item_id'] ?> | example.com</title>

Т.е. просто номерок этой паги, уже какая то уникальность тайтла, но все равно это хрень, гугл читл и читает первый кей по разделителю, итого что было придуманно:
1. Добавляем в CUSTOM_VAR (можно каждой галлеры, можно группы, если одно и тоже, то просто группы, не плодим данные) через запятую общие кеи по нише или около того: лучшая пикса, супер пикса в интернете, самая лучшая в галлерее
2. Я сразу разделил альты к пикчам в content_custom_pic, где нибудь вставляем

Код:

<?    $kw_list = explode(',', '<!--GROUP_CUSTOM_VAR1-->'); ?>

и потом соблюдая:

Код:

<!--IF IMG_1--> <a href="/gallery/<!--GALLERY_SLUG-->/1.html"><img alt="<?=$kw_list[0]?> - <!--ALT-->" src="<!--IMG_1_THUMB-->"></a> <!--END IF--> <!--IF IMG_2--> <a href='/gallery/<!--GALLERY_SLUG-->/2.html'><img alt='<?=$kw_list[1]?> - <!--ALT-->' src='<!--IMG_2_THUMB-->'></a> <!--END IF-->

только не забываем, что php list с "0", т.е. выводим список меняя цифру -1.
3. В content_single_item вбиваем куда нибудь:

Код:

<? $kw_list = explode(',', '<!--GROUP_CUSTOM_VAR1-->'); ?>

и потом уже:

Код:

<title><?=$kw_list[$_GET['item_id']]?> - <!--ALT--> | example.com</title>

Все, особого эффекта я не жду, но % по каким нибудь ннч в индексе было бы приятно. В wiki таких мелочей нет, если не доходчиво написал, пишите где - поправлю

Удачного Вам Дня

Hola писал:

Что такое F8, удаление файлов? На сайте с 200к галер таких фалов и папок очень много, удаление может длиться часами, и лазить по ftp/ssh чтобы почистить кеш выглядит странным. Скрипт вместо развития деградирует...

cd ........scj/tmp
rm -r *

сам то хоть развивайся ...

Semen_ssr писал:

cd ........scj/tmp rm -r * сам то хоть развивайся ...

Да знаю я все это, и остально знаю, только зачем это все в повседневной жизни? Находясь в админке проще кнопку нажать, а надо лезть на ssh через впн, с паролями всякими, это все вводить, чтобы кеш почистить - я и говорю не рационально все это, зачем ломать что было и чем пользовались?

Также надо запретить ножи продавать, ктото порежется ведь, или продавать тупые ножи, вроде есть а пользоваться нельзя (как import setом).

Hola: это вроде скрипт не для однорукого

LemonS писал:

надо добавить во все строки с /gallery - &send_to_source=true и если надо что б сразу заработало - прибить кеш

сделал..вначале все ок было часа через 7-8 урлы ведущие на галеры перестали работать прода резко упала..вылезла ошибка кеша редиса

Щас запись в акссесе оставил убрал редис из конфига..все оживать стало

с чем связано это?

Semen_ssr: ну когда управляешь сеткой где 100+ доменов, надо чтобы было максимально автоматически и с минимальными движениями, вроде тут вебмастера собрались. Раньше так и было, щас все больше и больше к ручному труду сводится... там ssh, тут скрипт костыль приделать, печалька. И Лимона не убедить, прикрывается усталостью саппорта.

Судя по активности в теме, всем нравится ручной труд Зато админить каждому придется научиться, тоже польза да?

Hola писал:

ну когда управляешь сеткой где 100+ доменов,

я не спорю, у меня то меньше сетка, пагу некогда апдейтить та уже не 22, а 23 домена!!
Бред ты несешь, один серв работает с одного .sh файла по многим задачам и лучше не придумать, примеры? Конкуренты? Если они сегодня облегчат мне жизнь, вот прям всей толпой туда пойдем...чесна

Semen_ssr писал:

я не спорю, у меня то меньше сетка, пагу некогда апдейтить та уже не 22, а 23 домена!! Бред ты несешь, один серв работает с одного .sh файла по многим задачам и лучше не придумать, примеры? Конкуренты? Если они сегодня облегчат мне жизнь, вот прям всей толпой туда пойдем...чесна

Бред говорить о том что невидел. Ну если один сервер то поздравляю, один .sh файл, с каким контентом работаешь? Тубы? Мне щас трудно представить как автоматически обновлять разнонишевые тубо-сиджи и как вовремя удалять удаленные, с этим бредовым лимитов в 500 строчек в импортсете. Если это еще на 3х серверах жить будет, то вообще дрова.

За примерами в личку, тут небуду писать, некрасиво будет по отношению к автору, я не за антирекламой пришел.

По определенным причинам хотел на смарте построить кое-что, но судя по тугости в таких вопросах, видимо придется отказаться в пользу других решений. Хотя вдруг автор одумается, но верится с трудом.

Hola ты не думал вынести все на аутсорс, 100+ доменов должны отрабатывать аутсорс в принципе

sawm: Я сторонник красивых и простых решений, отдать на аутсорс чтобы там плодили зоопарк, извольте. Потом это все накроется в один момент. (Ну и не в одного все это делается конечно) Яб сюда вообще не пришел, автор все звал, сказал на форуме все сразу ясно станет, в итоге ясно, что все печально и строить на таком скрипте, чтото крупное надо сильно думать, ибо каждый апдейт может всю "работу" сломать.

Hola:

Цитата:

А зачем редактировать свое сообщение и добавлять "решение" до нашего диалога: Был вопрос как импортировать сразу и много. Думаю стоит опубликовать рецепт. ? smail101.gif Само решение еще с дырой, а ктото его поставит и потом будет думать, а откуда появились непонятные ифреймы и редиректы?

Когда редактируется сообщение на форуме под сообщением появляется надпись - редактированно столько-то раз. Можете проверить на любом своем старом сообщениее. Если б я редактировал что-то это было бы заметно.

Если вы считаете что в таком варианте есть дыра - покажите плз где она. Я думаю что попытка подсунуть что-то кроме реального файла закончится на строке првоерки наличия файла.

Цитата:

Тех у кого проблемы их меньше правильно?

Если отменить ПДД это не значит что большинство начнет сразу разбиваться на дорогах, однако это кол-во существенно возрастет.

В данном случае вы предлагаете забить на например 100 человек которые разобьются ради того что б вам не делать несколько лишних движений. Это немного эгоистично.

Цитата:

Как из импортсета говорить агрегатору что очередные 500 съели?

При каждом запросе галер у агрегатора ставить в базе агрегатора галочку какой ИД отдали последним, и при следующем запросе выдавать очередную порцию начиная с этого ИД.


Дабы было ограничение на размер импортсета пришлось ДОПИСЫВАТЬ код. О какой лени идет речь ? наоборот доделать все эти проверки занимает время.

Цитата:

- как теперь редактируете шаблоны без чистки кеша? skip_cache и быстро пробегаетесь по 200к урлам? Всего-то 0.5сек на ссылку, подумаешь 100 минут побегать? icon_lol.gif Или все уже выучили как в ssh быстро почистить memcache/redis/Couchbase ?

Редатируется с кукой или скипкеш. Когда темпелйт доделан - просто переключаются на другой сайт, а на этом сайте постепенно обновляется кеш по мере его инваллидации без лишней нагрузки сервака.


Итог:

1. убирать ограничение в импортсете дабы полегло все у массы пользователей не таких продвинутых как Hola ради того что б Hola не дописывать 3 строки в свой агрегатор - эгоистично.


2. Если Hola не умеет програмить и по этой причине не может дописать свой агрегатор что б тот выдавал порциями а не все сразу - велкам, лучше разбираться там чем бросать на произвол судьбы массу других людей.


3. Если другое решение позволяет добавлять аналог импортсета с сотнями тысяч галер - будет по итогу та же проблема как и была у меня до добавления ограничений. Но полугаю там на юзеров начхать, типа юзер сам не разобрался что так нельзя делать - ну и сам виноват.


4. Если глубоко подышать и посмотреть реально на ситуацию то ясно что вся истерика разгорелась из-за того что лень либо поставить cut.php либо дописать пару строк в агрегаторе дабы он выдавал порциями.


Ради этой истерики предлагается

1. положить на определнную часть пользователей не столь продвинутых. И даже на часть продвинутых но которые просто забудут что добавили такой большой импортсет.

2. в пылу истерики проведен тренд "раз не хотят прямо сейчас положить на других ради меня и поменять ради меня эту часть то все ппц, пользоваться скриптом нельзя , все плохо"

3. потрачено на порядки больше времени на спор чем чем было бы затрачено как на использование cut.php так и на дописывание агрегатора своего.


Я думаю стоит еще раз посмотреть на это со стороны.
Если у вас проблема с дописыванием агрегатора то лучше его я допишу чем брошу массу пользователей которые из-за этой возможности положат себе сервак.

Vantage писал:

Точно так же. Файлы одинаковые!

ок, скидывайте тогда фтп в ПМ, я разберусь.

Smith_84 писал:

сделал..вначале все ок было часа через 7-8 урлы ведущие на галеры перестали работать прода резко упала..вылезла ошибка кеша редиса Щас запись в акссесе оставил убрал редис из конфига..все оживать стало с чем связано это?

А какая конкретно была ошибка редиса и как именно перестали работать урлы ?

Hola писал:

sawm: Яб сюда вообще не пришел, автор все звал, сказал на форуме все сразу ясно станет, в итоге ясно, что все печально и строить на таком скрипте, чтото крупное надо сильно думать, ибо каждый апдейт может всю "работу" сломать.

Да, на форуме как раз все и ясно. Я думаю в предыдущем сообщении я ясно изложил свои мысли по поводу данного спора. К текущему моменту это 50й апдейт, представление о том что может "все сломать" - есть. и за 50 одновлений "все не сломалось".


Более того дабы разрешить эту ситуацию, понимая что спор УЖЕ занял на порядок больше времени чем работа по решению данной проблемы, я предлагаю вам БЕСПЛАТНО дописать ваш агрегатор дабы он смог выдавать порциями обновления и таким образом решить данный спор.