Smart CJ для тупых :)

pirate писал:

Несколько десятков копий запущено, все через файл scj.sh приходит такое сообщение на мыло: tail: >: No such file or directory tail: ../logs/tmp: No such file or directory Как узнать, где не хватает?

Смотрел долго на свой код - не знаю как оно может так получится. Постоянно приходят такие сообщения ?

LemonS писал:

Смотрел долго на свой код - не знаю как оно может так получится. Постоянно приходят такие сообщения ?

Раз в сутки приходит.

pirate: да, какой-то один домен видимо без scj/log как-то оказался.. скидывайте доступ, посомтрим как это получилось и что надо дописать что б оно учло такой вариант.

LemonS писал:

А какая конкретно была ошибка редиса и как именно перестали работать урлы ?

урлы ( gallery) не работали из-за ошибки...ошибка в хедере
сама ошибка..
Notice: Can not connect to redis in /home/иксикс/домен/scj//includes/libs/cache/redis.cache.php on line 0


в прошлый раз выяснили же щас современем это ошибка вылезла

$config['redis_host'] = '127.0.0.1';
$config['redis_port'] = '6379';
$config['redis_database'] = 0;
$config['redis_password'] = 'xxx';

вот что в конфиге...

К админам?

Smith_84: да, если писало что не молго законектиться в редису - это точно не из-за скрипта.

Скорее всего тормознули процесс редиса, а потом забыли запустить снова.

LemonS писал:

Если вы считаете что в таком варианте есть дыра - покажите плз где она. Я думаю что попытка подсунуть что-то кроме реального файла закончится на строке првоерки наличия файла.

И ктото там выше пишет что я неумею программировать? С таким кодом можно любой файл в системе прочитать, ровно первые 500 строчек. Поэтому я такое решение сразу отвергаю, поддерживать кучу таких решений видимо фетиш какойто.

LemonS писал:

В данном случае вы предлагаете забить на например 100 человек которые разобьются ради того что б вам не делать несколько лишних движений. Это немного эгоистично.

Я такого не предлагал, я просил сделать пистолет, который поможет работать продуктивней, а Вы говорите что ктото может застрелиться и уже застреливался, пришлось аську переустанавливать

LemonS писал:

При каждом запросе галер у агрегатора ставить в базе агрегатора галочку какой ИД отдали последним, и при следующем запросе выдавать очередную порцию начиная с этого ИД.

Агрегатор это не просто вадача из базы, оно не просто записи выдает, а это пофакту поиск по опр параметрам и умная сортировка, и такое там точно лишним будет.

LemonS писал:

Редатируется с кукой или скипкеш. Когда темпелйт доделан - просто переключаются на другой сайт, а на этом сайте постепенно обновляется кеш по мере его инваллидации без лишней нагрузки сервака.

А если ошибка критическая, и можно потерять трафик или позиции или еще чтото, то надо срочно бежать в ssh и чистить ручками, решение гениальное

LemonS писал:

Итог Ради этой истерики предлагается

Я уже вывод почти сделал, строить с такой поддержкой трудно и нет гарантий. Что вы говорите людям которые купили 49 билд, привыкли как оно работает и потом вдруг чтото пропало?

Что предлагаю я, пропуская непонятные переходы на личности

Чтобы не городить огород, cut.php и прочее: в импортсете если period = 0, то загружать его полностью и только один раз, потом делать next_grab = 0 и чтобы оно не загружалось больше.
Для продвинутых будет несложно когда надо next_grab в базе подправить, если ктото этим положит сервак его на доску позора в вики добавлять Это гораздо проще будет и быстрей.

Тогда люди смогут разово импортировать сразу сколько хотят, а не мучаться разрезая файлики на кусочки.

Hola:

Цитата:

С таким кодом можно любой файл в системе прочитать, ровно первые 500 строчек.

если у вас на любом файле в системе стоит 666 то да.
как туда подставить wget подскажите плз.

Цитата:

А если ошибка критическая, и можно потерять трафик или позиции или еще чтото, то надо срочно бежать в ssh и чистить ручками, решение гениальное

Критические ошибки не случаются каждый день. Если у вас они возникают постоянно и потому надоело в шеле чистить кеш - значит вы что-то делаете не так ..

Цитата:

Что вы говорите людям которые купили 49 билд, привыкли как оно работает и потом вдруг чтото пропало?

Что конкретно пропало ? в 49 такое же ограничение по импортсету.

Цитата:

Для продвинутых будет несложно когда надо next_grab в базе подправить, если ктото этим положит сервак его на доску позора в вики добавлять icon_smile.gif Это гораздо проще будет и быстрей.

Те поправить в базе - не проблема, а вот дописать cut.php проблема.
Будете каждый день ходить править базу что б сграбить за раз 10к удаленных ?
Какие-то доски позора - это шутка такая ?



БЕСПЛАТНО допишу ваш агрегатор что б он выдавал порциями и при вашем поиске.

а я давно еще предлагал , вынести функционал импорт сетов в Rotation --> Import ,
сюда:
https://dl.dropboxusercontent.com/u/5764724/screenshots/screen-2013-05-23-at-22.53.jpg

щас вон есть возможность загрузить файл , а надо чтоб можно было указать урл до файла , и приделать такие же кнопки - Test (задаем поля и значения) и Grab .
удобно и просто было б вгружать при запуске сайта большие фиды . а то через аплоад файл то по таймауту отваливается , то лимит_сайз . править надо на каждом серваке =) и даже если таймаут выкрутить - оно в браузере бывает затупливает все равно , и зависает вкладка в непонятном состоянии .

ну и кнопку клин кэша так и оставить выпиленной из админки , сделать ее функционал по секретному урлу , типа: /scj/admin/index.php?clean_cache=1

у меня ни разу серваки не падали из-за того что кэши разом прибиваю на всем домене

LemonS писал:

Что конкретно пропало ? в 49 такое же ограничение по импортсету.

Клин кеш, вон люди просят и просят. Секретный урл просят, я не для себя, уменя ничего не падало ибо не использовалось еще

LemonS писал:

Те поправить в базе - не проблема, а вот дописать cut.php проблема. Будете каждый день ходить править базу что б сграбить за раз 10к удаленных ?

Ну скрипт в 5 строк будет это делать и не жужжать, зачем руками то, а вот с cut надо чтото придумывать будет, исхитряться, причем в базу ко всем 100 сайтам сможет 1 скрипт лазить, написаный 1 раз. А для cut.php надо кучу wgetов придумывать.

LemonS писал:

Какие-то доски позора - это шутка такая ?

Надоже знать изза кого вырезают функционал из скрипта

LemonS писал:

БЕСПЛАТНО допишу ваш агрегатор что б он выдавал порциями и при вашем поиске.

Спасибо, ненадо. Там все работает как надо. И в других местах нету проблем с импортом.

Щас то в чем проблема сделать импортсет с period=0? Опять сервак положат или уже принцип?

Diablo II: Да идея хорошая с урлом до файла в импорте, что если это надо делать преодически то я предлагаю вариант с period=0, тожесамое пофакту, любой урл указал, тест, сохранил, через время все в базе.

Hola: принцип только 1 - дабы это подходило большинству пользователей. Вариант с тем что вы будете самостоятельно править в базе подходит, сделаем.

LemonS писал:

Hola: принцип только 1 - дабы это подходило большинству пользователей. Вариант с тем что вы будете самостоятельно править в базе подходит, сделаем.

А если сделать еще проще, сделать параметр для крона, чтобы игнорировать лимит 500, например importset_ignore_limit=true? также для всех подойдет?

Hola: тем что в крон так же можно поставить и забыть, и сделать это намного проще чем менять в базе и тп. Мгновенно распространиться практика суппортом хостинга ставить сразу с этим парметром всем клиентам и мы вернемся к той же проблеме. Убирать это потом после добавления 1 раз дампа будет лень\забудется и тп.

Кроме того если мне действительно надо доабвить 1 раз большой дамп то мне просто неудобно для этого идти и редактировать крон.


Diablo II: даю секретный урл

в scj делаем файл rm -r ./cache/* и обзываем его

hren_dogadaeshsa_secret_name

и ображаемся к нему когда надо в браузере )

LemonS писал:

Hola: тем что в крон так же можно поставить и забыть, и сделать это намного проще чем менять в базе и тп. Мгновенно распространиться практика суппортом хостинга ставить сразу с этим парметром всем клиентам и мы вернемся к той же проблеме. Убирать это потом после добавления 1 раз дампа будет лень\забудется и тп. Кроме того если мне действительно надо доабвить 1 раз большой дамп то мне просто неудобно для этого идти и редактировать крон.

Ну тожесамое мог в аське написать ведь?, смысл на форуме время тратить Ок давай с period=0 и базой.

Цитата:

даю секретный урл в scj делаем файл rm -r ./cache/* и обзываем его

А как делать если редис кеш? Писать еще +1 скрипт?

Hola: в асе ты мне написал примрено 200-300 пустых сообщений, на что ушло примрено полдня работы.

Форум решает проблемы за 5 месаг без необходимости провести день за написанием в асе всякой ...ни. Остается время непоследственно на написание кода.

Да, сделать еще один файл. Других компромисных решений в данный момент нет.

Hola: добавлена поправка в 50 - можно поставить больше 600к файл в импортсет, но скачан он будет только 1 раз после чего этот импортсет ставится на паузу.

LemonS писал:

Hola: добавлена поправка в 50 - можно поставить больше 600к файл в импортсет, но скачан он будет только 1 раз после чего этот импортсет ставится на паузу.

Можно тожесамое сделать в 49 билд тоже, я думаю те кто на 49 скажут спасибо

Added: проверил как работает, дамп размером 40 мегабайт качает чтото очень долго, 360 сек, хотя wget скачивает его за 0.3сек. И я так понимаю скачивается в память? Не проще ли сделать скачивание в файл (curl + CURLOPT_FILE) и разбирать потом из файла по 1 строке, тогда небудет ошибки что пхп нехватило памяти. Да, дамп так и несмог закачать весь (точнее он закачался, но при добавлении в базу упал, успел добавить 48к штук из 100к), споткнулся на лимите памяти в 250мегабайт, код импорта явно надо оптимизировать, ясно теперь почему он убивал людям сервер.

Последний раз редактировалось: Hola (24/05/13 в 13:19), всего редактировалось 4 раз(а)

LemonS писал:

Да, я неправильно выразился. Тумбы с 117 и extra в названии есть ?

Я просто в восторге от решения любых вопросов через форум,
На решения проблем уходит от 1 дня до хер знает сколько.

Куда проще раньше решались вопросы через аску.
Теперь же запостил свою проблему и проверяй ответил суппорт или нет, о ответил круто, а если он не ответил а вопрос задал уточняющий, пишешь ответ и опять пасешь форум мож уже ответил или нет. О пришел ответ круто или опять очередной уточняющий вопрос, просто супер и так растягивается на несколько дней, у меня рабочий сайт с трафиком 100к с битыми тумбами, весело правда?
в своем посте я описал проблему про битые экстра тумбы, описал даже что почему тумбы битые получились потому что то когда то был баг в скрипте который пришлось самому отлавливать и ломать голову почему же так происходило, что то типа "воспроизведи баг, я решу"
Баг исправили, но отголоски еще остались.
Остались битые экстра тумбы, Уважаемый суппорт помогите найти битые экстра тумбы

А да, на счет клин кеш, я уже писал в предыдущих постах с просьбой вернуть кнопку, на что мне ответили что это сделано для пользы большинства, а тут я вижу что есть люди которые также как и я нуждаются в этой кнопке. Хотелось бы выяснить кому она мешала.

из-за кнопки ток не апдейчу до 50 версии ) застрял в прошлом бля

я ложил сервак этой кнопкой, ну раз положил, потом умнее стал ) че такова

Hola писал:

Можно тожесамое сделать в 49 билд тоже, я думаю те кто на 49 скажут спасибо smailcode54 Added: проверил как работает, дамп размером 40 мегабайт качает чтото очень долго, 360 сек, хотя wget скачивает его за 0.3сек. И я так понимаю скачивается в память? Не проще ли сделать скачивание в файл (curl + CURLOPT_FILE) и разбирать потом из файла по 1 строке, тогда небудет ошибки что пхп нехватило памяти. Да, дамп так и несмог закачать весь (точнее он закачался, но при добавлении в базу упал, успел добавить 48к штук из 100к), споткнулся на лимите памяти в 250мегабайт, код импорта явно надо оптимизировать, ясно теперь почему он убивал людям сервер.

А как вдино что именно качает 360 сек ?

Да, скачивается в память поскольку это может быть xml и его все равно весь надо загрузить в память дабы разобрать. Да, оптимизировать всегда есть что, нет предела совершенству )

Fast description change
Easy way to change a lot of galleries
format: URL|new_alt|new_description
where URL - source url of gallery even if it's a custom gallery

Можно сделать что бы для тагов работало тоже?

LemonS писал:

А как вдино что именно качает 360 сек ?

По логам видно, сначала загрузил потом разбирать начинает или вопрос с подвохом?

LemonS писал:

Да, скачивается в память поскольку это может быть xml и его все равно весь надо загрузить в память дабы разобрать. Да, оптимизировать всегда есть что, нет предела совершенству )

Ну если обычный дамп - то построчно из файла надо, xml можно по первым 4-5 байтам определить, там спец таг идет.

Heganmedia писал:

Я просто в восторге от решения любых вопросов через форум, На решения проблем уходит от 1 дня до хер знает сколько. Остались битые экстра тумбы, Уважаемый суппорт помогите найти битые экстра тумбы

Мне с форума приходят сообщения на мыл когда появляется новый пост, для этого при посте есть галочка "Сообщать мне о получении ответов".

Я помогаю, но пока нет всей инфы. Остался неотвеченным вопрос есть ли в каталоге другие тумбы с 117 and extra в названии. Без этого я не знаю что делать - если есть значит возможно они по какой-то причине получили другое имя и надо исследовать откуда так получилось,а имеющиеся просто переименовать и будет ок. Если их таких нет - то где их найти теперь я не знаю, отдельной копии всех тумб не делается, в других каталоги скрипт их не складывает - где искать то ? наилучший вариант в этой ситуации было бы разобраться почему их нет.

К сожалению контролировать асю на качество ответов у меня нет никакой возможности. C форумом я могу сесть и прочесть все темы, проконтролировать что везде есть ответы, не осталось неотвеченных вопросов и не написана откровенная чушь. Постоянно проверяю все овтеты суппорта.

Heganmedia писал:

А да, на счет клин кеш, я уже писал в предыдущих постах с просьбой вернуть кнопку, на что мне ответили что это сделано для пользы большинства, а тут я вижу что есть люди которые также как и я нуждаются в этой кнопке. Хотелось бы выяснить кому она мешала.

Вспоминайте когда был вопрос "почему у меня пропало облако тагов на странице" - вот это и есть самая распространенная проблема прибития кеша. Посчитать на лету облако тагов тяжелая операция особенно при большой базе. Потому оно считается по крону и кладется в кеш. Потом человек прибивает кеш и привет. Так же в кеше хранится например общее кол-во галер по категориям, тоже посчитали по крону и сохранили в кеш. И так далее. Я помню вам эта проблема мешала.

Когда была кнопка 3-4 раза в день приходил вопрос связанный с описанными проблемами.

С другой стороны никто не смог обнозначно объяснить зачем постоянно жать "очистить весь кеш". Есть варианты когда добавляетсячто-то вроде &send_to_source и тогда действиетльно если хотется что б вот прямо сейчас заработало - тогад надо скинуть весь кеш, но в таком редком случае это можно 1 раз сделать руками. Какие есть причины каждый день удалять весь кеш ?