Оптимизация сервера

Мне кажется что было бы проще под 1-2 CJ покупать небольшой, в пределах 100$ сервер и не парится всякими тюненгами. Удобно и надежность в разы выше чем у всех возможных райдов. А если 1-2 CJ не окупают сервер, то надо задать вопрос, а нужны ли эти CJ.

p.s. Я не в теме, так что сильно не пинайте.

adminZ писал:

в даном случае как и во многих других рулит RAID1

Распараллеливание дисковых операций на 4 харда во внимание не берем? Или именно из экономических соображений?

Gourad писал:

Распараллеливание дисковых операций на 4 харда во внимание не берем? Или именно из экономических соображений?

а поиск по линейному массиву во внимание не берём?
и даже из экономических соображений это как минимум в 2 раза дороже (даже если нужно получить массивы одинаковой ёмкости)

мини-кластер можно собирать и на редхате, или просто 2-3 машинки с нгинксом в качестве балансера.

Soft-Com я имел в виду таки хардварный RAID 10 када поиском занимается контроллер а не цпу, у контроллера поиск идёт по дереву, да и если мне память не изменяет у ОС тоже не линейный алгоритм а дирхэш в дереве. Хотя х.з. я в сорцы геома смотрел давненько посему могу быть неправ

я сразу был написал что 10 рейд вобще нах ненужен )
потом подумал, исправил
отдача с 0 рейда (соот и с 10) таки быстрее, но имхо это некачается сиджев, ибо сиджи весят мало, что в 0 рейд ставить ? два винта по 80 гиг (минимум что щас есть), думаю смысла никакого
лучше поставить больше памяти и затолкнуть все туда.

Мне вот интересно про понятие "больше памяти". Чтобы затолкать "все туда" нужно 8Gb минимум - потому что один CJ весит 4Gb. И возникает вопрос сколько такой апгрейд пямяти будет стоить...

Я вот тоже думал ставить raid0 но потом хорошо подумал что будет в случае выхода со строя одного из дисков (а будет крах файловой системы) и просто раскидал все CJ равномерно по обеим своим SATA дискам.

"Затолкать все туда" не получится, память кроны отъедают и др.. тут твоя арифметика 4+4=8 не работает

dlk44 писал:

один CJ весит 4Gb

это что там весит 4гб? тумбы чтоли?

EvGenius писал:

это что там весит 4гб? тумбы чтоли?

Статика конечно же.

goodlover писал:

"Затолкать все туда" не получится, память кроны отъедают и др.. тут твоя арифметика 4+4=8 не работает

Так я знаю что не получиться - у меня хостинговый сервер под CJ работает, я его тюнил несколько месяцев и сейчас продолжаю все на нем оптимизировать для еще большего быстродействия/стабильности/безопасности. Сегодня вот настроили чтобы логи писал nginx, а не Апач. И джиттер для того чтобы задания CRON не запускались одновременно. Система и mySQL на одном SATA винте, клиентские акки на другом. Ну и много всего разного, все делали вручную так как собственно цель поставили глобальную - получить идеально отработанную систему на базе CentOS для хостинга CJ которую можно будет потом дублировать на других наших серверах. Прчем систему делаем универсальную сразу под все распространенные CJ движки, на ней уже работают: AT3 ATS pro DTR GB Proton Протон Progress Прогресс Streamrotator. Состояние сервера отслеживаем через Munin.

adminZ писал:

Нагрузку будут давать в первую очередь на HDD и на проц, вобще нехорошо каждую минуту одновременно пускать сотню скриптов.

На CJ каждую минуту по CRON запускается скрипт - подскажите сколько обычно он сжирает памяти и сколько в среднем нужно времени для завершения его работы? С ресурсами CPU все хорошо - нагрузка не выше 50%.

Soft-Com писал:

моё скромное мнение по поводу нагрузки на винты на сиджах и статике: 1. на сиджевом сервере основную нагрузку дают скрипты (не тумбовый траф, тумбы практически полностью можно в память откешировать) на проц и винты, при этом опять же если правильно оптимизировать файловую систему под ебанутые трейд-скрипты типа АТ3/АТХ2/Протон и следующие клоны, то они нагрузку на винты не дадут, а ротаторы в основном проц отжирают.

А можно чуть подробнее про "правильно оптимизировать файловую систему под трейд-скрипты" - хотелось бы услышать пару конкретных рекомендация как это сделать.

goodlover писал:

"Затолкать все туда" не получится, память кроны отъедают и др.

А сколько памяти обычно отъедает одно крон задание на CJ?

dlk44 писал:

Статика конечно же.

я так и не понял что за статика
тумбы весят пару Мб всего.
это если там еще fhg хостить свои, то да.

EvGenius писал:

я так и не понял что за статика тумбы весят пару Мб всего. это если там еще fhg хостить свои, то да.

Я просто смотрю статистику по своему серверу для CJ - один аккаунт обычно занимает 4Gb. По статистике отдачи трафа преобладают jpeg. Вероятно у них там свои галереи.

adminZ писал:

Нагрузку будут давать в первую очередь на HDD и на проц, вобще нехорошо каждую минуту одновременно пускать сотню скриптов. ЗЫ что такое джитер - man cron

У меня CentOS 5.2 и в CRON там никакого джитера нет. Брал на centos.org последней версии cron i386 3.01, но в нем нету этой функции. Пробовали ставить дебиановский CRON из исходников не ставиться, ошибки. Подскажите как решить. Может патч какой-то есть или еще что?

ну начнем с того что я обычно имею ввиду ось FreeBSD, поскоку именно под ней подымаю серваки,кластеры и тд...
Да в линухе другой крон и нет джитера, тогда нада писать скрипт в котором все кроны и ставить токо его в крон, итого получим поочередное выполнение.
dlk44 Я админю другой хост, у меня другие взляды на железо и производительность оного, спорить о чем то как всегда нету смысла, клиенты сами все поймут со временем ). Если вы сделали хост под CJ c разными оптимизациями, то я это сделал более 5 лет назад. У меня тоже очень большой опыт настройки и оптимизации серверов. Ну и вы молодцы нестоите на месте )

adminZ писал:

ну начнем с того что я обычно имею ввиду ось FreeBSD, поскоку именно под ней подымаю серваки,кластеры и тд... Да в линухе другой крон и нет джитера, тогда нада писать скрипт в котором все кроны и ставить токо его в крон, итого получим поочередное выполнение. dlk44 Я админю другой хост, у меня другие взляды на железо и производительность оного, спорить о чем то как всегда нету смысла, клиенты сами все поймут со временем ). Если вы сделали хост под CJ c разными оптимизациями, то я это сделал более 5 лет назад. У меня тоже очень большой опыт настройки и оптимизации серверов. Ну и вы молодцы нестоите на месте )

Мы пока с джитером решили вопрос вручную прописав в каждом CRON задании - добавили вначале команд sleep СЛУЧАЙНОЕ_ЧИСЛО_ОТ_1_ДО_30. Но это конечно временное решение - будем искать патч или скрипт напишем...

А по поводу выбора OS тут спорить бесполезно - я сразу ориентировался на Linux и оказалось что мой админ дружит с RHEL клоном которого является CentOS - его и выбрал в качестве OS для своих серверов.

Спасибо большое за советы!

adminZ писал:

ну начнем с того что я обычно имею ввиду ось FreeBSD, поскоку именно под ней подымаю серваки,кластеры и тд... Да в линухе другой крон и нет джитера, тогда нада писать скрипт в котором все кроны и ставить токо его в крон, итого получим поочередное выполнение.

Вопрос с джитером решили по-другому - мой админ сегодня переписал исходник крона под Linux и теперь там есть этот самый джитер. Уже установили на сервер.

dlk44 писал:

Вопрос с джитером решили по-другому - мой админ сегодня переписал исходник крона под Linux и теперь там есть этот самый джитер. Уже установили на сервер.

Я в экстазе от твоего админа . Сначала вы не знали про джитер, но когда вам рассказали про это на форуме, то админ аж исходники переписал!!!

про джитер и я давно когдато незнал
но распределение кронов оч важная задача на адалтном хосте, можна ее решить конешно и таким способом, но про надежность патчей самописных надо подумать =)

задача в первую очередь не в том чтобы распределить кроны, и проблема сама по себе не в том что кроны стартуют одновременно (а они не одновременно стартуют в любом случае, но задержка маленькая), а в том что кроны не отрабатывают до следующего запуска.

и решать это пропуском кронджобов как-то неправильно.

Надо лечить болезнь а не симптомы .

etheriel писал:

Я в экстазе от твоего админа . Сначала вы не знали про джитер, но когда вам рассказали про это на форуме, то админ аж исходники переписал!!!

Мой админ решает практически любые задачи - а вот постановкой этих самых задач занимаюсь я. Да я читаю этот форум и узнаю много нового про особенности функционирования CJ скриптов сразу примеряю эти знания к тому как настроен мой сервер и если нужно вносим изменения. Скажу даже больше - мой первый сервер под CJ на который установили только ImageMagick и GeoIP я сразу же стал набирать клиентов на CJ и в процессе работы стало выясняться что на suPHP не работает один распространенный CJ скрипт заменили на modPHP, потом выяснили что не хватает например Zend Optimizer (сам Zend был), потом выяснилось что для увеличения производительности сервера мы запретили SSI а оно оказалось нужно разрешили, потом в асю стукнул клиент сказал что для его CJ нужен ionCube - установили его на сервер. Я не вижу тут каких-либо проблем.

adminZ писал:

про джитер и я давно когдато незнал но распределение кронов оч важная задача на адалтном хосте, можна ее решить конешно и таким способом, но про надежность патчей самописных надо подумать =)

Мой админ он еще и программист так что все прописали как нада, я так подозреваю что фрагмент посвященный джитеру взяли из FreeBSD.

Soft-Com писал:

задача в первую очередь не в том чтобы распределить кроны, и проблема сама по себе не в том что кроны стартуют одновременно (а они не одновременно стартуют в любом случае, но задержка маленькая), а в том что кроны не отрабатывают до следующего запуска. и решать это пропуском кронджобов как-то неправильно. Надо лечить болезнь а не симптомы .

А как выяснить есть ли проблема с тем что кроны не отрабатывают до следующего запуска? CPU 60% в пиках, iowait минимум, RAM свободная есть.