Smart CJ для тупых :)

iGelius: первую версию мы уже не меняем что б не было обратных проблем.

Саппорт хамстера еще не постучался?

iGelius: нет
но вы и сами сможете понять когда они хоть что-то сделают когда появится версия удаленных за более короткое время.

LemonS писал:

Именно поэтому и говорили о том что надо последние 50-100 урлов, а не 30 дней.

Там же .csv обычный (в который новоудаленные галеры добавляются в начало), читай построчно нужное количество строк и все.
$ time curl -s 'http://partners.xhamster.com/export/del_month.csv' > /dev/null
real 0m12.296s
user 0m0.188s
sys 0m0.060s

$ time curl -s 'http://partners.xhamster.com/export/del_month.csv' | head -n 1000 > /dev/null
real 0m0.227s
user 0m0.000s
sys 0m0.004s

Mika: да, можно и такой гейт себе сделать на серваке.
Но боюсь что для среднего вебмастера это очнеь сложно.

Не, идея нормальная.
То есть раз в пару часов по крону запускать
curl -s 'http://partners.xhamster.com/export/del_month.csv' | head -n 1000 > /domain_patch/del_month.csv. Он будет заменять содержимое /domain_patch/del_month.csv, или дописывать новые строки?
Потом просто добавить новое задание для my_domain.com/del_month.csv.
Если хамстер сразу добавляет удаленные в свой дамп, а не пишет разом несколько к, должно сработать.

iGelius: да, будет заменять содержимое.
Для общего развития так же можно почитать что значит > и >> в коммандах в шеле.

LemonS писал:

Для общего развития так же можно почитать что значит > и >> в коммандах в шеле.

Кстити, что значит?
Гуглить по ">>" не получится.

iGelius: я в вас верю, немного самостоятельных усилий и вы сможете

iGelius писал:

Гуглить по ">>" не получится.

> заменяет текст в файле
>> добавляет в конец

Существует лог удаленных галлер через задание rotation -> set "Type:Delete items"?

iGelius: да, все в логе ротации.

ok. Есть такие записи:

Код: [развернуть]

2016-10-23 22:10 Deleted 110  (0.23239207267761, 0.0019679069519043) 2016-10-23 22:10 Deleting thumb 701 (0.23257899284363, 0.00018692016601562) 2016-10-23 22:10 Deleting thumb 702 (0.23429203033447, 0.0017130374908447) 2016-10-23 22:10 Deleting thumb 703 (0.23617315292358, 0.0018811225891113) 2016-10-23 22:10 Deleting thumb 704 (0.2380211353302, 0.0018479824066162) 2016-10-23 22:10 Deleting thumb 705 (0.24020099639893, 0.0021798610687256) 2016-10-23 22:10 Deleting thumb 706 (0.24205207824707, 0.0018510818481445) 2016-10-23 22:10 Deleting thumb 707 (0.24391603469849, 0.001863956451416) 2016-10-23 22:10 Deleting thumb 708 (0.24577617645264, 0.0018601417541504) 2016-10-23 22:10 Deleting thumb 709 (0.24762201309204, 0.0018458366394043) 2016-10-23 22:10 Deleting thumb 710 (0.24934315681458, 0.0017211437225342) 2016-10-23 22:10 Deleted 120  (0.25137400627136, 0.0020308494567871) 2016-10-23 22:10 Deleting thumb 711 (0.25156617164612, 0.00019216537475586) 2016-10-23 22:10 Deleting thumb 712 (0.25412702560425, 0.0025608539581299) 2016-10-23 22:10 Deleting thumb 713 (0.25597906112671, 0.0018520355224609) 2016-10-23 22:10 Deleting thumb 714 (0.25850319862366, 0.0025241374969482) 2016-10-23 22:10 Deleting thumb 715 (0.26023316383362, 0.0017299652099609) 2016-10-23 22:10 Deleting thumb 716 (0.26195812225342, 0.0017249584197998) 2016-10-23 22:10 Deleting thumb 717 (0.26363706588745, 0.0016789436340332) 2016-10-23 22:10 Deleting thumb 718 (0.26531720161438, 0.0016801357269287) 2016-10-23 22:10 Deleting thumb 719 (0.26705121994019, 0.0017340183258057) 2016-10-23 22:10 Deleting thumb 720 (0.26873803138733, 0.0016868114471436)

и несколько таких строк:

Код: [развернуть]

2016-10-23 22:22 Delete thumbs marked for deletion (0.020645141601562, 0.003284215927124)

Так и должно быть?
В дампе удаленных 500 записей. При обработке задания они загрузятся все разом?

iGelius: да, все

2.x чем лучше? Стоит новые сайты уже на ней делать?

iGelius писал:

2.x чем лучше?

Что имеешь ввиду 2.х?

iGelius: http://smartcj.com/wiki/doku.php?id=ru:tcms_install

iGelius писал:

Стоит новые сайты уже на ней делать?

как делающий сайты на этой ЦМС, могу сказать что уже стоит, доведено до ума))

S_Flash писал:

Что имеешь ввиду 2.х

Thumb CMS aka smartcj 2.1
ссылка вон выше)

Виснут кроны смартов. Последний билд 1.51

Код: [развернуть]

ps aux | grep /usr/bin/php admin 3903 0.0 0.2 432536 68124 ? S Oct25 0:05 /usr/bin/php -q cron.php admin 4709 0.1 1.5 880096 515148 ? S 13:17 0:29 /usr/bin/php -q cron.php admin 10204 0.0 0.6 580532 215588 ? S Oct26 0:29 /usr/bin/php -q cron.php admin 11631 0.0 1.4 848544 483952 ? S Oct25 0:29 /usr/bin/php -q cron.php admin 12984 0.0 1.4 848372 484168 ? S Oct25 0:29 /usr/bin/php -q cron.php admin 13044 0.0 1.1 738948 374632 ? S Oct24 0:29 /usr/bin/php -q cron.php admin 16320 0.0 1.5 879516 515316 ? S Oct26 0:29 /usr/bin/php -q cron.php admin 18658 0.0 0.7 627116 262884 ? S Oct24 0:29 /usr/bin/php -q cron.php admin 21118 0.0 1.4 847936 483736 ? S Oct24 0:29 /usr/bin/php -q cron.php admin 22831 0.1 1.5 879288 514336 ? S 12:30 0:29 /usr/bin/php -q cron.php admin 25135 0.0 0.8 638324 274136 ? S Oct26 0:29 /usr/bin/php -q cron.php admin 27231 0.0 0.6 595020 230224 ? S Oct26 0:29 /usr/bin/php -q cron.php

Еще такой вопрос.
задание rotation -> set "Type:Delete items"
должно давать Status : N/A или сразу удалять из базы?

iGelius: тебе нужна кнопка "Don't Worry, Make Money", она появляется при покупке 3х лицензий на один домен

Если кто ещё не в курсе, продублирую список чит кодов смарта:
D57GVU88B - прода х2 ( больше 10 раз не вводится, говорят, что нужно обратиться к разрабу для снятия лимита)
44GU687YV - подлив бесплатно
5VUU87JGU - голографический лемон (саппорт в живую)
8FUJ47HG8 - мультияз
856FY789C - настройки имэйдж меджика - говно/hd
FT2366FR4 - Кнопка "Make Money" (трейдит сам лемон, проверено), активируется после третьей лицензии

Я точно знаю, что это не всё, поэтому пишите ниже

iGelius: удаление должно удалять из базы.
Точнее учитывая что может быть много галер то они отмечаются на удаление, а потом удаляются по крону.

подвисания крона - это обычно висящие удаленные хосты, в новой версии юзается curl который лучше обрабатывает такие ситуации, а в чистом пхп почему то в зависимости от хоста не всегда срабатывает timeout.

LemonS писал:

подвисания крона - это обычно висящие удаленные хосты

Я не совсем понял, на счет висящих удаленных хостов. Кроны виснут только на двух сайтах, субъективно ничем не отличающихся от остальных. Везде используется последняя 1.51.
Пробовал киллять раз в сутки пхп процессы, но поплатился бд не подлежащей восстановлению.

iGelius: на этих сайтах видимо есть трейдеры которые недоступны, долго отвечают и тп. Факт что cron.php хочет скачать страницу трейдера что б сделать тумбы\проверить на банслова и тп - но этот процесс занимает продолжительное время и он все ждет и ждет.

стягивает страницу не сам смарт,а встроенные либы пхп, смарт уже от них получает только результат.
и иногда, на некоторых хостах timeout у них почему-то не срабатывает, почему - не знаю, надо разбираться в конкретных хостах и тп. В новой версии просто перешли на curl полностью, пока таких пробелм я не видел.

Все описанное выше - гадание по скриншоту, которое не гарантирует что я угадал.

Простой вариант - перейти на новую версию. если будут проблемы - будем разбираться конкретно на хосте.