Большой LA на неработающем сервере

Вообщем есть сервер Xeon E3-1230 Quad Core 3.2 GHz / 8GB / 2x1000GB
Стоит на нем Centos 6.3 x64
И 24 копии Smart CJ. Все это дело без трафика. Работают только cron'ы
LA в среднем 1.2, бывает прыгает до 2.2
Я уже боюсь представить что будет есть начну лить на сайты трафик )

Эта проблема появилась после переустановки Centos (была 5.Х 32bit, стала 6.3 64bit)
Раньше LA выше чем 0.3 не поднимался

странная хуйня, как только создал топик - LA начал падать (хотя до этого дня 4 точно нержался на отметке 1,2 в среднем)
и после ребута сервера вернулся на нормальные значения так что пока вопрос ставится на паузу )

так в посмотри в top что так грузит проц
есть подозрения, что бинд9 создает лишнюю нагрузку из-за ошибки в настройках, была такая проблема на одном из серверов с Centos 6 x64

вот в том то и дело что top ничего не рассказывает )
named действительно ОЧЕНЬ грузит процессор, но когда он работает - LA относительно нормальное

top - 13:29:47 up 32 min, 1 user, load average: 0.62, 0.44, 0.39
Tasks: 226 total, 2 running, 224 sleeping, 0 stopped, 0 zombie
Cpu(s): 6.6%us, 13.4%sy, 0.0%ni, 76.0%id, 4.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8015708k total, 778456k used, 7237252k free, 105872k buffers
Swap: 4194296k total, 0k used, 4194296k free, 259444k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
4886 named 20 0 677m 21m 2780 S 218.4 0.3 35:21.35 named

а вот когда я его отключаю - LA начинает стремительно расти, в тоже время загрузка процессора падает почти до 0

top - 13:33:02 up 35 min, 1 user, load average: 1.61, 0.76, 0.50
Tasks: 221 total, 1 running, 220 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.5%us, 0.1%sy, 0.0%ni, 98.1%id, 1.2%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8015708k total, 721340k used, 7294368k free, 110584k buffers
Swap: 4194296k total, 0k used, 4194296k free, 260592k cached


а кроме named сервер вообщем никакие проессы не грузят судя по top

и кстати при отключенном named сайты продолжают открываться

не помню как лечил, помню проблема была с bind 9.9... тоже ЛА скакал, иной раз зайдешь нагрузки нет, через час нагрузка 1

файловую в noatime и кроны разноси

криво подключенный жесткий диск (драйвера, отходящий шлейф, битый диск) создают большую процессорную нагрузку на ровном месте.

То, что named грузит - впервые слышу, ни разу не сталкивался, даже на копеечных впс от него не было проблем.

Bond - 24 скрипта это фигня для такого сервера, надо настраивать софт на сервере, апач (лучше нгинкс), ноатайм как писали выше, мускуль тюнить, tmpfs, кроны в один файл со слипами., рейд если есть - нах его. Мскуль на второй хард лучше вынести и т.д...

Вот посмотри у человека на "калькуляторе" сиджи хостятся, больше чем у тебя и с трафом [топик удален]

У меня например после перехода на 6.3 цент, такая хрень показывает нагрузку в топе ksoftirqd/0, ksoftirqd/3.

ibiz писал:

не помню как лечил, помню проблема была с bind 9.9... тоже ЛА скакал, иной раз зайдешь нагрузки нет, через час нагрузка 1

перерыл весь инет, нашел кучу проблем и их решений но ниодной из проблем у меня на сервере не найдено (

JM писал:

файловую в noatime и кроны разноси

если не сложно можно более подробно?

Stek писал:

криво подключенный жесткий диск (драйвера, отходящий шлейф, битый диск) создают большую процессорную нагрузку на ровном месте. То, что named грузит - впервые слышу, ни разу не сталкивался, даже на копеечных впс от него не было проблем.

процессорной нагрузки при возрастающем LA нет, как раз вообще при возрастающей процессорной нагрузке LA падает
А по поводу named - очень много тем в интернете об этом

kort писал:

Bond - 24 скрипта это фигня для такого сервера, надо настраивать софт на сервере, апач (лучше нгинкс), ноатайм как писали выше, мускуль тюнить, tmpfs, кроны в один файл со слипами., рейд если есть - нах его. Мскуль на второй хард лучше вынести и т.д....

дело все в том что nginx в данный момоент не поможет так как трафика на сайтах нет, мускуль тоже не грузится ничем, кроны как надо в одном файле со слипами

Последний раз редактировалось: Bond James (21/02/13 в 23:14), всего редактировалось 1 раз

Bond James: так, выложи что у тебя в кроне то висит.

в кроне файл scj.sh, который дергается раз в минуту
в файле 24 варианта вот этих 2 строк

cd /home/admin/domains/domain.com/public_html/scj/bin; env HTTP_HOST=domain.com /usr/bin/php -q cron.php &
sleep 1s
cd /home/admin/domains/domain.com/public_html/scj/bin; env HTTP_HOST=domain.com /usr/bin/php -q rot.php &
sleep 1s

но как мне кажется дело не в кроне так как с этими же настройками сервер еще месяц назад (до переустановки Centos) работал нормально

Bond James: тогда, есть лишь один вариант, надо по очереди отключить все возможные демоны и смотреть..

Сдается мне проблема в кроне.

Цитата:

но как мне кажется дело не в кроне

Убери правило из крона и посмотри в том дело или не в том.

А вообще обрати внимание на
Cpu(s): 6.6%us, 13.4%sy, 0.0%ni, 76.0%id, 4.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu(s): 0.5%us, 0.1%sy, 0.0%ni, 98.1%id, 1.2%wa, 0.0%hi, 0.0%si, 0.0%st

Чем это там диск занят на простаивающем сервере?

johndoe2: чем, чем по крону скорее всего парсит что-то.

Да, там чето диск грузит.

Если у тебя туева хуча файлов, то это может mlocate грузить. Эту хуйню по дефолту ставят на чуть менее чем все дистрибутивы линукс по дефолту. Он периодически прочесывает и индексирует всю файловую систему ссука.

На обычном сервере ничо, а вот если сотня-другая тысяч тумб, это проблема. В /etc/cron.daily/mlocate.cron обычно эта хуйня сидит.

PS. Когда будет ла подниматься, скинь сюда еще "ps aux"

Bond James писал:

процессорной нагрузки при возрастающем LA нет, как раз вообще при возрастающей процессорной нагрузке LA падает

Чего ? Вообще то LA и показывает вычислительную нагрузку, т.е. процессора. Вот прекрасное объяснение, что такое LA

Может у вас какой то процесс висит, который в состоянии бездействия системы занимает все ее вычисления, а как только появляются процессы - то тут же уходит в ожидание.

ЛА не обязательно про процессор. Он показывает сколько в среднем процессов простаивает. Причина простоя может быть и в блокировке по i/o

Bond James писал:

перерыл весь инет, нашел кучу проблем и их решений но ниодной из проблем у меня на сервере не найдено (

попробуй отключить named в автозагрузке и ребутнись, посмотри будет ЛА скакать или нет, может и не в нем проблема, тогда надо смотреть по топу что еще грузит

wa - 4% - та ну нах, у меня вдс так не лагает, не то, что дедик...
собственно, Pentarh: об этом и говорит. а ла - лоад аверейдж? чем глядишь? есть много бажных, неправильно сконструированных панелей, где и wa и la будут показывать хуйню. полную. если, например, dstat пускаю - первый блин комом, 4-5% wa, а дальше - чисто и гладко. правда, если сервак перегрузить, wa уходит в 0,1 - 0,6%... но мне пох. и так и так - мои скрипты держут 14К запросов в секунду. правда, это не скрипты. это проги на Си...
и тут еще вопрос, о доверии юниксу - какого хуя, если я все выключаю - ексим, нгинкс, скуль, имап - короче, вырубаю все - лагает при запуске топ или дстат или пох чего до 4-6%. после перезагрузки - как любимая винда, начинает работать... и мне снова пох, ибо "не чини, что работает"... но хотелось большего...

аффтар - мускуль хорошо настроен? ему дали 70-75% памяти? (она больше никому-то и не нужна) это важно.
мож смарт чё парсит?
разнеси крон, чтоб не все 589 сиджей начинали что-либо грабить в одну секунду...
а вообще я не админ, могу лагать на моск. сорри, если что

AWD: ты еще не учел вариант, что сервер ТС могут доссить UDP пакетами, это важно учесть, перед настройкой мускуля

я бы поискал большие файлы логов
я бы поискал папки где туева хуча файлов
обычно в этом проблемма.

ibiz писал:

AWD: ты еще не учел вариант, что сервер ТС могут доссить UDP пакетами, это важно учесть, перед настройкой мускуля

да хоть перед, хоть до - настроить мускуль нужно априори. факт? не? у меня сайты в 10 раз быстрее стали работать, и если правильно юзать кеш мускула - нахер не нужен мемкеш. хотя, вроде, его и так все похерили. почти все. я пытался человеку втолковать - с мускулем - 3 тысячные сек, с мемкеш - 4-5... вопрос: нахуя? "мускуль не создан... бла бла" - хуй! создан! и это первая и пока единственная машина, кеширующая результат выборки, а не план действий. и мемкеш нужен только для любителей файлов и еще кое-чё, задолбался писать
и как всегда, всем любви и свободы!
удачи!

ЗЫ: искренне желаю выздоровления всем тем, кто плюсует от нехер делать (мне это не нравится, честно), и кто минусует(а этих люблю, канешна. да мне похер.))). лучше что-то сделайте, а не мычите анонимно, как безумное быдло...
и да прибудет Господь с нами.

Последний раз редактировалось: AWD (22/02/13 в 11:07), всего редактировалось 1 раз

дупль

AWD: мемекешь тебе не нравиться ишь какой.

Странно, но LA с момента написания топика выше чем 1 не поднималась
А вот если отключить только named - сразу прыгает до значения 1.5-1,7

После того, как я убрал из крона запуск файла scj.sh (который запускал раз в секунду по одному скрипту от Smart CJ) и сделал ребут, команда top стала показывать следующее

top - 12:38:22 up 1 min, 1 user, load average: 0.37, 0.21, 0.08
Tasks: 208 total, 1 running, 207 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.5%us, 13.3%sy, 0.0%ni, 81.2%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8015708k total, 429396k used, 7586312k free, 26444k buffers
Swap: 4194296k total, 0k used, 4194296k free, 144244k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1316 named 20 0 677m 19m 2776 S 211.2 0.3 3:27.54 named

т.е как я вижу показатель wa устаканился

Далее, после того как я еще и стопнул процесс named, top стал выглядеть вообще спокойно

top - 12:40:31 up 4 min, 1 user, load average: 0.13, 0.17, 0.08
Tasks: 210 total, 1 running, 209 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.6%us, 0.4%sy, 0.0%ni, 98.6%id, 0.3%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 8015708k total, 491608k used, 7524100k free, 29268k buffers
Swap: 4194296k total, 0k used, 4194296k free, 156596k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1802 apache 20 0 297m 19m 4476 S 3.3 0.2 0:00.21 httpd

Smart CJ ничего не парсит, во всяком случае я найти ничего не могу )