Smart CJ для тупых :)

Может быть угадал.
Там по несколько сотен неактивных трейдов, и часть их сайтов давно мертвы. Это только ручками чистить?
Есть пошаговый ман как апнуть 1.51 до 2.х?

iGelius: проще всего руками

скрипт перехода еще не готов, пока можно
1. поставить новую копию
2. на старом сделать export нужных данных а на новом import

Почистил трейды и отключил создание тумб для топа. Кроны продолжают виснуть. Как отключить проверку на бан слова? Что еще стоит отключить и где?

iGelius: в настройках античита можно отключить эти проверки

У меня автоантичит и так был отключен. Отключил еще и проверки.
================
Поставил 2.х на тест. Попробовал скормить большой дамп через rotation->sets. Результат идентичен версии 1.51. Как сделать?

iGelius: не ясно в чем именно вопрос, не описана проблема .

LemonS писал:

не ясно в чем именно вопрос, не описана проблема .

iGelius писал:

Попробовал скормить большой дамп через rotation->sets. Результат идентичен версии 1.51.

Вы вроде писали, что в 2.х может быть сколь угодно большой дамп.

Кроны продолжают виснуть. Что еще нужно отключить?

iGelius: да, можно , но в чем у вас вопрос вы так и не описали.

Можно посмотреть в логи в каком моменте у вас виснет.

LemonS писал:

iGelius: да, можно , но в чем у вас вопрос вы так и не описали.

Описал, вы просто не прочитали. Вот 2.1 и большой дамп:

Я конечно добавил, ради эксперимента. В течении нескольких часов ничего не сграбилось.

LemonS писал:

Можно посмотреть в логи в каком моменте у вас виснет.

Если можно, напишите пожалуйста какой именно лог смотреть и что конкретно в нем искать. Чтобы можно было сделать "cat лог | grep запрос", а не просматривать все логи подряд в поисках неизвестно чего.

iGelius: cron.log - да, надо искать что было в тот момент когда какой-то из кронов засис по вашему мнению.

Условно сейчас 15.00 , вы видите что процесс работает уже 10 минут, смотрите в логе что было в 14.40-14.50

Что в логе rotation.log по поводу имопртсетов ?

LemonS писал:

iGelius: cron.log - да, надо искать что было в тот момент когда какой-то из кронов засис по вашему мнению. Условно сейчас 15.00 , вы видите что процесс работает уже 10 минут, смотрите в логе что было в 14.40-14.50

В сутки виснут два-пять заданий. За сегодня, по точному времени зависания:

Код: [развернуть]

2016-11-05 03:43 Process data (0.0052018165588379, 0.0052018165588379) 2016-11-05 03:43 Process traders (0.0362548828125, 0.031053066253662) 2016-11-05 03:43 set_dynamic_skim (0.23801589012146, 0.20176100730896) 2016-11-05 03:43 forces (0.23931980133057, 0.0013039112091064) 2016-11-05 03:43 Calculate priority (0.23955202102661, 0.00023221969604492) 2016-11-05 03:43 Soft force (0.379234790802, 0.13968276977539) 2016-11-05 03:43 Write config (0.37948799133301, 0.00025320053100586) 2016-11-05 03:43 Anticheat check (0.4121789932251, 0.03269100189209) ========================== 2016-11-05 04:42 Process data (0.0045521259307861, 0.0045521259307861) 2016-11-05 04:42 Process traders (0.031408071517944, 0.026855945587158) 2016-11-05 04:42 set_dynamic_skim (0.27783703804016, 0.24642896652222) 2016-11-05 04:42 forces (0.27913403511047, 0.0012969970703125) 2016-11-05 04:42 Calculate priority (0.27934312820435, 0.00020909309387207) 2016-11-05 04:42 Soft force (0.49119901657104, 0.2118558883667) 2016-11-05 04:42 Write config (0.49144315719604, 0.000244140625) 2016-11-05 04:42 Anticheat check (0.53497099876404, 0.043527841567993) ============================= 2016-11-05 06:30 Process data (0.064343929290771, 0.064343929290771) 2016-11-05 06:30 Process traders (0.27889895439148, 0.21455502510071) 2016-11-05 06:30 set_dynamic_skim (0.4689929485321, 0.19009399414062) 2016-11-05 06:30 forces (0.47020983695984, 0.0012168884277344) 2016-11-05 06:30 Calculate priority (0.47041583061218, 0.00020599365234375) 2016-11-05 06:30 Soft force (0.60712790489197, 0.13671207427979) 2016-11-05 06:30 Write config (0.60735392570496, 0.00022602081298828) 2016-11-05 06:30 Anticheat check (0.71060085296631, 0.10324692726135)

Настройки автоантичита для этих сайтов:

LemonS писал:

Что в логе rotation.log по поводу имопртсетов ?

Все импортсеты выглядят так:

Код: [развернуть]

2016-11-05 17:10:57: ImportSet: Looks like regular dump (0.0086328983306885, 0.00028109550476074) 2016-11-05 17:10:58: ImportSet: Added: , Dupes:  Skip: 500 (1.0320489406586, 1.0234150886536)

Еще не могу найти в вики инфу по
Traffic Rules ->
Traffic limits
Easy Forces limit, %
Normal Boost limit, %
Personal Boost limit, %

iGelius: да, как видите виснет на проверке тредеров тк по какой-то причине не срабатывает таймаут.
Можете скинуть шел - я сделаю вам тестовый скрипт что б вам было что отдать админу что б он поправил.

Импортсеты - проверьте внимательно паттерн добавления, может категории не выбраны например.

Форсы

**Easy Forces limit, Normal Boost limit, Personal Boost limit**

Фактически 3 группы спец форсов. В общих настройках мы можем выделить опредленный % траффика (всех кликов) которые будут попадать на каждый из форсоф. Например, Easy - 5%, Normal - 10% , personal - 15%, те в целом будет на все эти форсы будет уходить 30% кликов, что конечно много, но для примера ок.

После этого мы можем трейдеров временно выделять в группы например Easy Forces, например выделили туда 2 трейдера - они между собой поделили 5% траффика (2.5% каждому). Других трейдеров мы можем выделить в Normal Boost группу. В группе Personal Boost может быть только 1 трейдер.

Таким образом это возможность форсить каким-то трейдерам в тех пределах траффика который вы считаете будет ок, дабы не влиять на основной трейд. Те если форсить например 100 хитов в час трейдеру то в какой-то час это может быть 10% траффика, а когда-то 20%. Со специальными группами форсов мы форсить не конкретное кол-во, а именно % от общего кол-ва кликов.

Новая интересная фича Search Log Advanced

пример есть на http://bigbase.smartcj.com/ - Search Queries

В скрипте давно уже есть фича по выводу последних поисковых фраз

Код:

<thumb num=1-10 search_log=all ...

Она выводит лог последних поисковых запросов на вашем сайте. Но сейчас она стала более продвинутой. Теперь можно искать related запросы к текущей странице. Например, на странице категории можно искать запросы с называнием этой категории.

Код:

<thumb num=1-10 search_log=all filter=GET_GROUP_NAME

На странице тага можно фильтровать по имени тага

Код:

<thumb num=1-10 search_log=all filter=GET_TAG

На странице поиска можно фильтровать по поисковому запросу

Код:

<thumb num=1-10 search_log=all filter=GET_SEARCH

Тут надо напомнить что в параметрах то что начинается с GET_ - это переменные из запроса (из урла).

По умолчанию результаты сортируются по кол-ву поисков по конкретному запросу, но можно так еж отсортировать по кол-ву результатов по такому поиску (те у нас 2 варианта order есть )

Код:

<thumb num=1-10 search_log=all filter=GET_SEARCH order=items_found   <thumb num=1-10 search_log=all filter=GET_SEARCH order=hits

Таким образом на каждой странице создаются линки на другие страницы и общее кол-во страниц на сайте растет.

Конечно, запросы набираются очень медленно, и что бы форсировать это событие s Search Log в админке (/admin/?operation=rotation&sub=rot_tube&subsub=rot_search_log&) можно добавить любые поисковые запросы так, как будто их уже искали у вас на сайте.

Для примера, на bigbase.smartcj.com было добавлено порядка 2М запросов. Из чего выплыло несколько проблем, которые были сразу же решены.

1. тк запросы были взяты из общих источников оказалось что по части запросов в базе ничего не находит. Таким образом была вероятность получить на странице ссылку на которой было 0 результатов поиска. Что бы решить этот вопрос rotation.php, который запускается по крону проверяет, периодически проверяет новые запросы и смотрит, что бы по ним хоть что-то находилось в базе. Если ничего не находит - удаляет запрос из списка. Это событие можно форсировать в шеле

Код:

php rotation.php check_search_queries=true

2. когда в базе немного поисковых запросов то Mysql справляется без проблем с ними. Однако когда добавили 2М запросов то поиск по такой таблице стал тяжелым и для индексации решили добавить Sphinx - это сделало не только быстрым поиск, но и сам поиск более продвинутым. Что бы добавить Sphinx надо в конфиг сфинкса добавить

Код: [развернуть]

source search_queries {    type               = mysql    sql_host            = ........    sql_user            = .......    sql_pass            = ........    sql_db               = ......    sql_port            = 3306   # optional, default is 3306     sql_query_pre = SET NAMES utf8    sql_query            = SELECT sq_id, search_query, hits, items_found FROM rot_search_queries WHERE hits > 0    sql_attr_uint          = hits    sql_attr_uint          = items_found } index search_queries_index {    source               = search_queries    path               = /path_where_to_store_index    docinfo               = extern    morphology              = stem_en }

После этого сфинкс сможет проиндексировать имеющиеся у вас запросы.

Что бы SmartCJ смог начать использовать этот индекс надо его указать в настройках ротации Sphinx Search , поле Sphinx Search Log Index = search_queries_index

Все.

LemonS писал:

да, как видите виснет на проверке тредеров тк по какой-то причине не срабатывает таймаут.

Да, верно. Но ведь все проверки, доступные через админку отключены. Что же он проверяет?
На сколько безопасно прибивать эти процессы через kill по истечении определенного промежутка времени? Сутки например.

iGelius: можно прибивать
проверяет страницу трейдера все равно на банслова, отключения этой опции просто нет в сетингах.

Обновился с какой-то лохматой версии TCMS на текущую Build 201611071303
Вот такая вот ошибка появилась на странице тега:

Код:

Error:Mysql error:: 1064 (index domain_com__ru_index: no such filter attribute 'tag_ids') (db_sphinx) in query SELECT id FROM domain_com__ru_index WHERE tag_ids IN (2) ORDER BY total_ctr DESC LIMIT 0, 120.

Конфиг Sphinx'a:

Код: [развернуть]

source domain_com__ru {         type                                    = mysql         sql_host                                = localhost         sql_user                                = user         sql_pass                                = pass         sql_db                                  = db         sql_query                               = SELECT gi.gallery_id, UNIX_TIMESTAMP(gi.activation_date) as date, alt, description, gi.duration, sponsor_id, gs.total_ctr, gi.content_type, \                                                         (SELECT group_concat(tag_name39) FROM rot_gal2tag g2t \                                                         LEFT JOIN rot_tags as t on t.tag_id = g2t.tag_id \                                                         WHERE g2t.gallery_id = gi.gallery_id) as tags, \                                                         (SELECT group_concat(gss.group_id) FROM rot_gallery_stats1 as gss \                                                         WHERE gss.gallery_id = gi.gallery_id AND group_id != 0) as categories \                                                         FROM rot_gallery_info AS gi \                                                         JOIN rot_gallery_data39 AS gd ON gi.gallery_id = gd.gallery_id \                                                         JOIN rot_gallery_stats39 AS gs ON gs.gallery_id = gi.gallery_id \                                                         WHERE gallery_status = 'active' and gallery_type = 0 \                                                         and gs.best_thumb = 'yes' and gs.group_id = 0         sql_attr_timestamp              = date         sql_attr_uint               = duration         sql_attr_uint               = sponsor_id         sql_attr_float              = total_ctr         sql_attr_uint               = content_type         sql_attr_multi                  = uint categories from field;         sql_query_info                  = SELECT * FROM rot_gallery_info WHERE gallery_id=$id } index domain_com__ru_index {         source                                  = domain_com__ru         path                                    = /path/to/sphinx/domain_com__ru         docinfo                                 = extern       morphology              = stem_ru }

Anab0L1k: http://smartcj.com/wiki/doku.php?id=ru:tcms_install#sphinx_config

LemonS: Спасибо. Поправил конфиг - проблема исчезла

V 1.51 Build 201603221213
В вики есть такой момент:
Subtemplate tags
Таки которые можно использовать в сабтемпелйтах
<!--THUMB_WIDTH--> <!--THUMB_HEIGHT-->

Пробую в сабтемплейте указать
<a href="/gallery/<!--GALLERY_SLUG-->/index.html">
<img src=<!--THUMB_URL--> width="<!--THUMB_WIDTH-->" />
</a>
Но выводит как есть <!--THUMB_WIDTH--> вместо размера тумбы. Чтото не так делаю?

Jabar: это добавили уже во 2й версии когда стали в базе хранить размеры тумб тк появились дизайны с разными размерами тумб.
До этого обычно сайт в одном размере и хранить его смысла не было.

А гифки на тумбы совсем не умеет нарезать?

iGelius: http://smartcj.com/wiki/doku.php?id=ru:tcms_update_1#animated_gifs

LemonS: немного не то. Я пытаусь скормить в ротатор дамп пиксовых галлер с частью тумб в виде анимированных гиф.