Smart CJ грузит сервер

Всем привет
столкнулся с проблемой. ищу решение проблемы..может кто что подскажет?

вобщем на сервере стоят порядка 50 скриптов .
как выяснялось что грузит сервер крон .так как запусаються каждую минуту причем сразу все 50 скриптов .
в крон от одного скрипта прописываються 2 файла которые также запускаються ежеминутно .в этоге получаеться 100 задач каждую минуту .. сервер просто умирает

решение проблемы..нашел пока несколько
1, отключил грабинг тумб для тредера (по умолчанию раз в сутки нарезает новые тумбы)

2, задачи в кроне разделили на 2 файла. теперь запускаються в разное время.

3, админ немного поднастроил мускуль.

4, говорят можно поставить 2 жестких диска что тоже разгрузит сервер .

как можно еще сбавить нагрузку на сервер ?

to LemonS
при грабинге 1000 галлер ск-ко тумб за раз нарезает скрипт ?.
щаз поставил грабить 1000 галлер.
показывает что сейчас грабит 250 галлер.
загрузка проца 100%.

я думаю если поставить чтоб скрипт по 5 тумб резал за раз .. нагрузка на сервер будет минимальна

может ошибаюсь

разьесни плиз .. или это уже настройки IM ?

ну или убрать тумбовый топ для трейдеров и отключить нарезку тумб для трейдеров

Бро, что сказать... Ты монстр!
У меня на актуальных серверах этого года до 10ти СJ\ротатор скриптов максимум (не из-за того, что ресурс экономлю, больше не надо просто), но я больше 2х-5ти тумб за запуск крона одновременно на каждом ротаторе грабить не ставлю. Твоя картина с 250 немного даже улыбнула!
ПС судя по твоему нику, думаю ты знаешь, что делать.

незнаю ..ищю решение проблемы

ник совсем тут не причем.

Vyacheslav
у меня на сервере 1 база с галлерами..(1 мастер, остальные слейвы)

с кроном вроде как разобрались. помог 2ой вариант
а вот с грабингом тумб для трейдеров вот тут засада.

1, Раз в сутки много экономии тебе не даст. Хотя ХЗ, если они это примерно в одно время делают. У некоторых скриптов бывает специальная рендомилка кронов для одного сервера.

2, Это никогда не рано делать, даже если скриптов всего штук 5ть-10ть. По сути это ключевой пункт в разгрузке.

3,

4, Если у тебя сервер шёл с одним жёстким диском, то представляю его конфиг. Чует моё сердце, что беда с производительностью! Для мускуля говорят отдельно свой твердотельник поставить - вообще феерично помогает.

5. Проверь на всякий случай кеширование в настройках скриптов. Может стоит его на немного разные интервалы поставить.

Конфиг сервера какой? Сколько базы в общем весят? А то есть любители, которые на 4х гигабайтный сервер нахеречат по 30 сайтов мультинишевых с базой на 1-2 гига каждая и удивляются, почему же мускуль тормозит :-)

DiamonD
понимаю селен в серверах ... разесни как сервер разгрузить?
можно ли IM задать задание по шагово (баз скриптов)?

сервант..
model name : Intel(R) Core(TM)2 Quad CPU Q8300 @ 2.50GHz
MemTotal: 4109296 kB

базы весят оч мало при 1к галлер .. весят 13мб...это ерунда ..
чуть выше писал .. (1 мастер остальные все слейвы)

delete конфиг сервака был .. чуть выше


Vyacheslav
5. потестю . врятли .. ведь это дело даже в память не грузит ..а берет только твой браузер в оборот ... имхо

unix писал:

5. потестю . врятли .. ведь это дело даже в память не грузит ..а берет только твой браузер в оборот ... имхо

Всех тонкостей я не знаю, но как понимаю сам, модуль кеширования перегенерит на сервере статические страницы, которые потом будут отдаваться клиенту. Это не должноотнимать много ресурсов, но требует хотя бы единоразово выполнить все динамические страницы и желательно это сделать не в один и тот же момент для всех..

unix: у тебя одна база с 1к галер и что то там тормозит ? это надо просто тюнить серв, потому как 13 метром мускл может просто в память положить и все. сколько слейвов на ней весият эт уже не так критично будет.

про 250 одновременно грабит не понял: если у тебя одна база мастера то только он и грабит и по дефолту стоит 3.

даже если представить что именно в эту минуту так еж грабит на всех 50ти тумбу трейдера - это еще +50 итого 53, откуда 250 ?

PS а где кстати видно 250 ?
PSS ну и вешать рейд1 в текущей ситуации - имхо почти ничего не стоит, а надежность и скорость возрастает заметно.
PSSS если мускл пишет много - можно tmp мускла вынести на рам диск.

unix: 1. попроси что бы тебе пересобрали IM что бы он не юзал мультикоре... т.к. одна обработка может все убивать ;)
2. (наиважнейшие)Часто у друга наблюдаю перегруз вообще на ровном месте, просто запускается куча процессов, я бы конечно товарищу Лемону руки бы да поотрывал ;) ну что сложно ограничить паралельную работу как у душика? И что бы базы не расли бесконечно если скрипт каждую минуту не запускается...?

буду разбираться отпишусь ...

JM
можно по подробнее по 2 пункту?
мало что понял .. ну кроме как Лемону руки отрвать (Сорри бро LemonS..время от времени новичков консультирую по твоему скрипту .. такоеже мнения у них только по вики .. им совсем нечего не понятно либо леняться читать)
ты все излогаешь в апдейтах ..
они прочитали мануал а в апдейты им лень .. от скрипта требуют

unix:, посмотри в мускуль админке, в процессах, есть что-то? Если изредка процессы появляются и пропадают, стало быть со стороны мускуля все в норме. Далее зайди под рутом и посмотри gstat, насколько диски нагружены (столбик %busy). Скинь сюда вывод команды top посмотреть что кушает память.
Ну и по кронам, пробовал их в файл запихнуть, чтобы последовательно выполнялись?

дедик не свежий имхо тоже
плюс Джиттер поставь себе для кронов и тюнить однозначно

джиттер же просто рандомно меняет время запуска. А если сервер перегружен всей этой консольной работой, то толку от джитера ?

unix: по пункту 2, это лучше у него самого спросить нах так замудрить, что если скрипт не исполняется каждую минуту то база разрастается? Это фича или долбоебизм? Если это пофиксить то снизить нагрузку можно будет тупо разбив крон на 3-4-5 файлов которые будут запускаться каждые 3,4,5 минут или форкаться... ну и количество смартов на серваке может жить в 3-4-5 раз больше... ну или таки сделать как у Душика...

я лично разносил кроны по совету бывалых.
админы скзаали сделать крон файл в котором было исполнение файлов со строками кронов каждую секунду или две. то есть каждую вторую секунду выполняется по 4 строки крона.как пока ЛА 2-3.
но вот если делать кастом гали на смарт сидже сервер даже не смотря на это улетает. 120-150 кастом галеры из зипов создают нагрузку ЛА 15-17 на все время резки галлерок.
П.С. lemons Громаднейший респект.

Я не пойму, вы что тумбы режете и галереи перегенерите каждый день?
Ну есть затыки, например, если генерить больше 5ти или 20ти тумб\галерей одновременно, но ведь за пару тройку дней всё нарежется и сгенериться, а потом уже можно трейдить. Апдейты так же на пару часов можно растянуть, там поменее будет, чем на старте сайта.
Или просто лень ждать?!

мемкешед еще включи ;)

Vyacheslav писал:

Я не пойму, вы что тумбы режете и галереи перегенерите каждый день?

Ну ты выдал.. А как иначе? Типа нарезал руками 200 тумб и всю жизнь или трейдить? Так может и было лет 5-7 назад, но уже не катит..
Посмотри мой onmovs.com. Там порядка 200 категорий, если в каждую хотя бы по 5-10 в сутки добавлять, получится 1000-2000. Так на практике и есть. [Total: 577524 | Today: 1554] Только не думай что это все руками :-) Все на автомате делается. Иначе не представляю, как в сотню сайтов сидеть и резать руками или даже просто галеры заливать :-)