Smart CJ для тупых :)

st01en: cron.php нагрузки не создает практически. нет смысла его как-то особо выносить.
советую сначала разобраться есть ли нагрузка, в чем нагрузка, а потом уже что-то делать. ну и крон вернуть на каждую минуту.

st01en писал:

в разделении нагрузки

Я писал, что у меня основная нагрузка на винты приходится. Тоже считал, что крон тормозит (более 60), админы тоже поначалу сказали, что слишком много кронов. Попробовал отключить вобще все кроны сервера минут на 5-7. В итоге нагрузка на винты упала процентов с 90-100% до 70-90% (это в среднем, разброс весьма большой) , что нифига не актуально.

Крон нагрузку не создает, ее создают скрипты, которые одновременно запускаются
Все кроны каждую минуту

Цитата:

top - 20:41:35 up 33 days, 14:53, 1 user, load average: 0.91, 1.40, 1.68 Tasks: 108 total, 2 running, 106 sleeping, 0 stopped, 0 zombie Cpu(s): 4.6%us, 0.3%sy, 0.0%ni, 93.7%id, 1.3%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 5867924k total, 4982812k used, 885112k free, 389008k buffers Swap: 3997680k total, 17612k used, 3980068k free, 2869396k cached

Разделенные кроны

Цитата:

top - 07:06:24 up 39 days, 1:18, 1 user, load average: 0.27, 0.33, 0.35 Tasks: 108 total, 1 running, 107 sleeping, 0 stopped, 0 zombie Cpu(s): 3.8%us, 1.5%sy, 0.0%ni, 90.3%id, 4.3%wa, 0.0%hi, 0.2%si, 0.0%st Mem: 5867924k total, 5596968k used, 270956k free, 380588k buffers Swap: 3997680k total, 21452k used, 3976228k free, 3550920k cached

Разница ощутима.

st01en: на какую цифру тут смотришь, утверждая что у тебя перегружен серв, и что они по-твоему означает ?

st01en писал:

load average: 0.91, 1.40, 1.68

это уйня, а не загрузка, если конечно у тебя не одноядерный проц на дедике
так что можно не раскидывать кроны если не на перспективу...

Я вообще-то работаю админом и про нагрузки знаю поболее вас...Вопрос был - можно сделать? Ответ я получил - нет. Все, вопросов больше нет.
И где я говорил, чтоу меня перегружен серв?

Последний раз редактировалось: st01en (14/03/12 в 17:21), всего редактировалось 1 раз

Next: однозначно не одноядерный, иначе бы или idle или wa отличалось бы. Но возможно st01en: знает что-то еще , подождем ...

st01en: если ты работаешь админом объясни нам плз по какому параметру тут ты видишь нагрузку. Полезные знания всем пригодятся.


Если у тебя не нагружен серв - зачем ты ставишь крон не каждую минуту ?

стата ж в хистори двойная получается , если крон раз в 2 минуты ,
да и другие процессы калечно наверное отрабатывают .
имхо la равный единице и не нагрузка совсем ,
у меня вполне успешно с 10-14 все работает

st01en писал:

Разница ощутима.

я вот не админ, и админы меня совсем уже запутали. Одни молятся на этот ЛА и эта загрузка ваще мерило всего сервера. Другие наоборот говорят , что ЛА это какието бестолковые цифры для дрочки, и что в данном случае надо смотреть на идл. Что если у тебя в первом и втором случае проц простаивает на 90% , то в чем разница то? Только ЛА отличается, но сам проц загружен практически одинаково. память тоже используется практически одинаково, так в чем разница то? Или на все цифры можно забить и смотреть на ЛА?
Объясните плз А то один говорит, что он мега админ всех админов, а другой утверждает, что админил когда компов еще небыло... И каждый потом утверждает разное. На что обращать внимание то?

Jabar:
Я тебе объясню так- каждый дрочит на что хочет
ЛА - это не загрузка процессора и не объем потребляемой памяти. Это время, которое затрачивается на выполнение одного процесса. Могу сказать точно, что на 2-х ядерном атлоне с 6г рамки при ла больше 3 в ожидании висит как минимум 1 процесс, а чаще 2. А вот почему они висят и почему затрачивается время...- причин может быть много и обычно в них не разбираются.
Возьмем пример - тот же крон смарта. Там их 2 - ротатор и трейд. Вот запускаются одновременно эти два крона. Трейд отработал шустро - снял статистику, записал в базу и уснул. А ротатор может начать грабить гали... Вот здесь узкое место. Винты - могут быть забиты, просто битые, неправильная кластеризация, старые, медленные и т.д. Память - вроде ее много и она вся не используется, но! - апачу выделено ОПРЕДЕЛЕННОЕ кол-во, пхп - тоже ОПРЕДЕЛЕННОЕ, и этой выделенки им может хватить, а может и не хватить. Ты же не знаешь, какие там гали. Вон, к примеру, киберсео глохнет если его заставить по крону парсить сразу все кинковские фиды для блогов(те, которые с аттачами). Процессор - опять же, вроде не загружен. Но это же не винда, в линухе процессы имеют приоритет и очередь, и загрузка процессора будет видна, когда именно один процесс, запущенный в данный момент его загрузит. Но при высоком ла, обычно в очереди висят еще процессы и нагрузка с него просто не успевает сброситься.
Вот и получается, что вроде всего много и доступно, а ла зашкаливает - времени на выполнение одного процесса уходит слишком много.
Я на ЛА не дрочу, но для меня это показатель Так сказать - общий диагноз.
И я привык если что-то делать -делать хорошо. Если имеется возможность уменьшить нагрузку на сервак, то почему бы этого не сделать?
Инкси, стрим и кристалл отлично себя чувствуют и работают Да и смарт работает нормально, только историю не пишет

st01en: хотелось бы уточнений

"ЛА - это не загрузка процессора и не объем потребляемой памяти. Это время, которое затрачивается на выполнение одного процесса."

это время в чем ? секунды ?

"Память - вроде ее много и она вся не используется, но! - апачу выделено ОПРЕДЕЛЕННОЕ кол-во, пхп - тоже ОПРЕДЕЛЕННОЕ, и этой выделенки им может хватить, а может и не хватить."

как выделить апачу опредленное кол-во памяти ?
и как определить хватило ему или нет ?


"Но это же не винда, в линухе процессы имеют приоритет и очередь, и загрузка процессора будет видна, когда именно один процесс, запущенный в данный момент его загрузит. "

а в винде нет очереди или нет приоритетов ? и когда загрузка проца будет винде видна ?


PS и конечно хотелось бы конкретики: так как же определить что серв нагружен ? какую команду запускать и на какую цифру там смотреть.

И это в 21 веке? С нынешними ценами на сервавки? Люди, не позорьтесь. Читая топик невольно охуеваешь от коллег по бизу. Кидайте Лемону сразу реквизиты от Паксума, Вебманей и Яндекс.Денег и требуйте компенсации моральных издержек. Валенки, ёпт, скрипт настолько мягкий, что его можно намазывать на бутерброд. И Лем в асе по ночам. Мечта авма, ёпт.

sm@rt писал:

С нынешними ценами на сервавки?

Но нахрена ресурсы разбазаривать? Когда цены на серваки были высокие, у меня на одном дохлом сервере крутилось 3 дохлых сиджа, которые приносили денег больше чем два не очень хилых сервера с кучкой сиджей, но сейчас. Со временем, чтото меняются не только цены на серверы, и просто так разбазаривать ресурсы тоже не хочется. Одно дело когда на изъебство по оптимизации уходит столько сил и времени, что в другом русле такие затраты приносят больше прибыли.

LemonS: Не цепляйся к словам. Я так выразился, чтоб было понятней.
ла показывает кол-во блокирующих процессов в очереди на исполнение, что лично для меня удобней называть - временем для выполнения. Например,ла - 1-4-30 за 1-5-15мин, время на выполнение за последнюю минуту = 1 мин для 1 процесса, потому что данный процесс был заблокирован предыдущим на 1 мин. Так понятней?

MaxClients - директива апача, определяющая число порожденнных процессов сервера. Каждому процессу выделяется память. От этой цифры и зависит сколько памяти жрет апач. Определяется методом тыка. Так понятней?

В винде есть такие понятия, как очередь и приоритет. Но думаю, каждому приходилось тыкать резет, когда зависала какая-нибудь программа. Почему, например, миранда может вдруг получить высочайший приоритет и забрать все ресурсы системы, что даже диспетчер задач не запускается? И где ты видел линух, который надо ресетить кнопкой, потому что завис апач? Так понятней?

Смотреть нужно на все. Но ла это общий показатель, который лично я использую. Вот на том сервере, который я здесь приводил для примера, в пик ла доходила до 33, загрузка процессора была 30%-50%, а память использовалась также.На 1-1.5 часа сервак превращался в черепаху. После разделения кронов - макс.ла - 2.7, а проц иногда бывает загружен и на 70-80%. Память вообще можно не смотреть, возьми новый сервак, поставь пару блогов и top тебе покажет, что память используется почти вся. Вот когда начнет юзать своп - значит уже не хватает.
А ла показывает нагрузку на сервер, которая может зависеть не только от памяти или процессора, но и от сети, винтов и много другого. Поэтому я смотрю этот параметр. И если ла высокий, то дальше уже нужно разбираться - почему.

Но я это не для тебя все написал. Ты думаешь, я не понимаю, что ты решил просто потроллить? Но кому-то это может пригодиться.

Сразу скажу, что с технической стороны я слабо подкован по этому прошу прощения за ошибки, но надеюсь можно будет понять о чем я. Но вот почему бы не уйти от кронов, точнее запускать их по мере надобности (засчет хитов), а не принудительно по расписанию? Вроде такие скрипты как ТЕ, пульс по вычислительным ресурсам сервера жрут оочень мало, но запуск плановых задач реализован имено без крона. Есть какието ограничения на максимум единовременно запущенных задач. Может там конечно использованы таблицы типа "memory" и возможности кэширования в mysql и таким образом безболезненно можно запускать плановые задачи и раз в минуту и раз в 5 минут, по мере освобождения ресурсов. И из за не одновременных заходов серферов вопрос о "разнесении кронов" вобще не стоит. и если вдруг какая то беда, то потеря статов за 10-15 минут из-за сбоя (которые бывают очень редко) вобщем то не критично.

Jabar: кроны фактически есть везде, только в случае где типа нет крона добавляется проверка на каждый хит "не начать ли нам выполнять плановые задачи сейчас". реализовано так, дабы не напрягать юзера добавлением задачи в крон. Требования к ресурсам при одинаковых настройках будут совершенно одинаковые. Трейд, конкретно cron.php, потребляет очень мало ресурсов, кроме момента нарезания тумб - я вижу например серваки где по 100 скриптов с 120-130 трейдеров на каждом = 12000-13000 тумб в день.

st01en: я половину вообще не понял, не уверен что кто-то еще понял, а еще меня упрекают в том, что я пишу непонятно

"ЛА - это не загрузка процессора и не объем потребляемой памяти. Это время, которое затрачивается на выполнение одного процесса."

"ла показывает кол-во блокирующих процессов в очереди на исполнение, что лично для меня удобней называть - временем для выполнения. Например,ла - 1-4-30 за 1-5-15мин, время на выполнение за последнюю минуту = 1 мин для 1 процесса, потому что данный процесс был заблокирован предыдущим на 1 мин. "


те если у меня ЛА 1 это значит что каждый процесс блокируется на 1 минуту каждую минуту ? те в 00.01 процессу дает выполняться, а в 00.01 нет, в 00.03 снова да ?



PS ну и 3й раз уже прошу: напиши плз конкретно что запускать и куда там смотреть, как ты оцениваешь нагрузку.

LemonS: Нет, конечно

Цитата:

те если у меня ЛА 1 это значит что каждый процесс блокируется на 1 минуту каждую минуту ? те в 00.01 процессу дает выполняться, а в 00.01 нет, в 00.03 снова да ?

это значит что в последнюю минуту у тебя 1 процесс ждал допуска к работе с процессором. если нагрузка повышается, то ла будет показывать бОльшие цифры, значит больше процессов стоит в очереди. при нормальной работе процесс отработал и уступил место другому, и так по кругу. очередь конечно есть, но обычно это меньше одного процесса. т.е., за минуту может отработать 2-3-4-5 процессов. если эта цифра повышается - значит идет нагрузка. ну а твой процесс, который отработал, если ему нужно отработать еще раз - станет в очередь. и если ла = 0.3,- то он получит доступ к работе через 20сек, а если ла = 3, то через 3мин. цифры конечно не точные, но суть, думаю, понятна. кстати, объяснения точных цифр ла я не встречал

ыыы. щас такой пример приведу, чтоб было понятней
Стоит очередь в магазине, продавщица отпускает по 2 чел. в минуту. Опа, и у нее сломалась рука. Но деваться ей некуда, прикована кандалами к прилавку( сказывается работа в нише ) Теперь продавщица отпускает уже 1 чел в минуту. Опа - сломалась вторая рука. Теперь продавщица отпускает 1 чел. за 5 минут. Ногами ведь очень неудобно. вот и получается ла - 0.5(2чел/мин) - 1(1чел/мин) - 5(1чел/5мин) Как-то так

Смотреть нужно на все, но ла дает общие данные о нагрузке.
Пример из недавнего онлайна. Захожу на сервер, ла зашкаливает, хотя в очереди процессов нет. Загрузка проца -1.4%. Сервер нормально работает, ничего не тормозит. Начинаю рассматривать процессы и вижу, что мыльный сервер проявляет странную активность. Смотрю логи, а там юный турецкий хакер брутфорсит мою мыльницу
Если бы я не обращал внимания на ла, то возможно ничего и не заметил бы.

ла может быть высоким по разным причинам. ну, например ты можешь запустить на сервере какой-нить софт, ла покажет нагрузку, но на работе апача это может никак не отразится. но у нас на серверах обычно основным софтом является как раз апач-нгинкс-пхп-мускул. поэтому я смотрю на ла, так как основную нагрузку могут дать только важные для меня процессы

а вообще, это все уже давно и 100 раз описано. вот здесь например http://mannix.ru/poleznoe/parametry-load-average.html неплохое объяснение вывода top

st01en: да, слов много конкретики мало.

4й раз: какую команду надо запустить и куда там смотерть что б понять нагружен серв или нет ?



"это значит что в последнюю минуту у тебя 1 процесс ждал допуска к работе с процессором .... если ла = 0.3,- то он получит доступ к работе через 20сек"

те если у меня ЛА 1 то мой процесс получит доступ к процу через минуту (ну +- сколько то там), я верно тебя понял ? а всю минуту он будет спать ?

LemonS: не совсем так. я же написал, что цифры примерные или ты меня пытаешься поймать на отсутствии базовых знаний ? Я скажу - да это ЦИФРА! и ты закричишь - ага, поймали!
извини, но точного ответа на твой вопрос у меня нет для себя я эту цифру определяю как время. потому что моему мозгу легче оперировать точными величинами, а ла - величина относительная. если запущено 20 процессов и ла=1, то это много, потому что при 20 процессах один приходится блокировать. если запущенно 1000 процессов и ла=1, то это мало. потому что вообще удивительно, как 1000 процессов могут отрабатывать без задержек.
как-то так

st01en: ясно что ничего не ясно.
и все же.
5й раз.

какую команду надо запустить и куда там смотерть что б понять нагружен серв или нет ?

так я же выше ссылку дал. запускай top и смотри. по ссылке выше выбирай параметр, который считаешь наиболее важным я смотрю ла, потому что он показывает общую нагрузку, которую остальные параметры вывода могут и не показать.
а универсальных рекомендаций здесь нет. это как - "доктор, у меня живот болит", разве есть универсальная таблетка от всех видов боли?

у меня к тебе тоже вопрос - почему же, все-таки, нельзя в смарте сделать запуск крона реже чем раз в минуту? кристал и стрим требуют запуск крона раз в 3 минуты, инкси, как мне помнится - раз в 5 мин. почему нельзя так сделать и в смарте?


ПыСы
добавлю еще для полной ясности вот тут звучало, что мол на ла нефик смотреть, есть более важные параметры. согласен, что есть более важные, но они же и более узкие. а ла показывает именно НАГРУЗКУ, а не что-где-почему нагруженно. проще говоря, если средняя по больнице-меньше 1, а тут вдруг стало 5 - то стоит посмотреть в чем причина. опять же пару примеров. захожу на сервер(кстати, я захожу через шелл, а не через веб-панель, там этих команд нету), все шустро работает, проц не загружен, но ла высокий. начинаю разбираться. выясняется, что на туб я закачал слишком тяжелые флв да еще и отдает их апач. в принципе, ничего критичного, но видео тормозит, что создает нагрузку, что и показал ла.
второй случай - ла высокий, смотрю - работает бекап. ну и чудненько, на веб-сервера и мускуль это никак не влияет, отработает и все встанет на место.
т.е., я хочу сказать, что высокий ла - это не всегда критично, но всегда говорит о нагрузке.
ну а если ты действительно не знаешь, что такое топ, ла и тп, стучи в аську, расскажу

ПыПыСы
Поздравляю с победой в номинации

st01en: Спасибо спасибо что сказал серьезно, про номинацию нигде в хедере форума ссылок нет, если б ты не упомянул я би не знал что она была и уже оказывается закончилась

Смарт запускать раз 5 минут можно, но определенные действия происходят в опр минуты. Условно запись данных в истори происходит на првой минуты нового часа, соотв если в эту минуту не запустить - данные не будут записаны. Дело не критичное, но неприятное.

По поводу победы в номинации attitude у меня положительный и я думаю надо превнести на форум все же больше конкретики что бы приходили люди в эту тему за полезной инфой

Поясняю что такое LA

LA (load average) - Это среднее кол-во процессов стоящих в очереди за ресурсами системы (проц, винт и тп).

Как вы вероятно знаете, несмотря на многозадачность системы, в реальности в системе в определенный момент времени выполняется одна задача, но ОС постоянно, много раз каждую секунду, выполняет по очереди то одну задачу то другую и нам кажется, что задачи выполняются одновременно. Например, у нас 1 ядро и есть какой-то процесс, который постоянно работает и постоянно стоит в очереди “дайте мне процессорного времени”. Каждый раз когда ОС смотрит, какому процессу дать процессорнгого времени - он там один = ЛА 1. И тут запускается еще один и в очереди на юзание проца у нас оказывается уже 2 процесса = ЛА 2. В системе ЛА показывается обычно в виде 3х значений: минута, 5 минут и 15 минут. Соответственно минутное значение показывает сколько процессов было в очереди в среднем за последнюю минуту.

В реальности в большинстве случаев процессы не стоят в очереди на проц всю минуту. Представим у нас только 1 процесс апача вообще на всю систему и он отдает какую-то тсраницу, на что он тратит 1 секунду процессорного времени. За последнюю минуту пришло 6 запросов, те 6 раз по одной секунде в очереди на юзание проца стоял 1 процесс. ЛА будет 6/60 = 0.1. Если в этом варианте пришло 60 запросов за минуту - ЛА будет 1. В данном примере где ядро одно, до ЛА 1 все страницы будут отданы с максимально возможной для этого сервака скоростью. Если вдруг пришло 120 запросов за минуту, то в каждую секунду стоит по 2 процесса апача в очереди за процом, дабы создать нужную страницу. ЛА будет 2.

Так же надо обратить внимание, что в разных системах ЛА может считаться немного по-разному. Изначально в UNIX в ЛА считались процессы, которые стоят в очереди за процом. Но в линухах, например, в ЛА учитываются процессы стоящие и в очереди за винтом и другими системными ресурсами. Из-за этого может возникать разница в восприятии ЛА у разных людей. Те в классической UNIX системе может быть ситуация когда ЛА маленькая, а сервак тормозит, потому что в очереди за процессором никого нет, все стоят в очереди за винтом.

В целом считается, что ЛА не должна превышать кол-во доступных ядер проца. Посмотреть это можно командой

sysctl -a | egrep -i 'hw.ncpu'

которая выдаст что-то вроде

hw.ncpu: 4


LA видна командой top.



removed by moderator
В следующий раз буду плюсовать или банить (нареганные под это дело ники и сочувствующих персонажей) за открытые просьбы ставить положительный рейтинг топику или посту. Охуенный вариант сбора "статистики" придумали ...


Какой ник нареган зареган под это ?
И как опрос присоединить к теме ?

Последний раз редактировалось: LemonS (17/03/12 в 23:35), всего редактировалось 2 раз(а)