Про сиджи и MySQL ("почему на моем хостинге падает сидж

Навеяно

Подскажите,pls,альтернативу HostonFly-проблемы с CJUltra

Проблема вот в чем на самом деле.
MySQL требует тщательной настройки, если объем трафа превышает некоторый минимум. И как показывает практика, далеко не каждый админ умеет на самом деле с ним (мусклем) обращаться.

Поэтому, коли уж юзаете сидж на мускле (или что угодно на мускле, что "под трафом"), прежде чем пускать на урл траф, проверьте, насколько мускль на данном серваке держит этот самый траф.

Делается это так.

Создаете сидж, базу, тестовых трейдеров примерно в том числе, сколько у вас их реально будет.
Морды пофигу.

Дальше, входите в шелл(SSH, telnet) и там набираете 2 команды.

ab -n 100000 -c 30 http://www.domain.com/index.php

после того как отработает первая, проверяете, цела ли база и запускаете вторую

ab -n 100000 -c 30 http://www.domain.com/out.php

Первая команда имитирует обращение к морде вашего сиджа 100К при уровне конкуренции 30 запросов одновременно.
Вторая аналогично проверяет аут сиджа.

Опосля чего смотрите на результаты, оцениваете скорость работы сервака, количество ошибок и проверяете, главное, цела ли база после такой интервенции.

А дальше, либо спокойно работаете либо обращаетесь к админу с запросом "какого хера, уважаемый?!".
Хотя прежде чем настроить параметры команд ab, стоит поговорить с админом тоже - может быть, он честно признается, что не готов его сервак к такой нагрузке.

От такие дела.

Все гениальное просто.
И как это я сам до клада не додумался?

Угу, в результате узнавшие про ab начинают тестить все подряд, сервак напрягается, получает еще порцию родной загрузки от других сайтов, впадает в задумчивость и начинает думать о прекрасной жизни.
"Любитель" ab не удовлетворяется быстродействием и для точного результата еще раз пускает бенчмарк - сервер плюет на всех и уходит в отпуск.

Порча таблиц обычно происходит из за кривого железа. На нормальном хардвере базу грохнуть разве что при рессете только можно.

Так что не всегда проверить базу можно при помощи ab, ну разве что сервак завалить ... соседний - на него можно точно также по 500 запросов за секунду выплеснуть

Мы провели вчера сравнительные тесты двух скриптов: XrenCJ и FET, с помощью вышеприведенного метода. Результаты получились странные. Интересно было бы услышать коментарии создателей и сочувствующих.

Тестировали по методу, одновременного задания нагрузки на IN-скрипте, и удвоенной нагрузки на OUT-скрипте.

Задавали 50 параллельных реквестов входящего трафика и 100 реквестов исходящего.

FET IN
========================

Код:

This is ApacheBench, Version 1.3d <$Revision: 1.67 $> apache-1.3 Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/ Benchmarking .****.com (be patient)                                                                             Server Software:        Apache/1.3.27 Server Hostname:        .****.com Server Port:            80 Document Path:          /cgi-bin/fet/refcheck.cgi Document Length:        161 bytes Concurrency Level:      50 Time taken for tests:   2932.526 seconds Complete requests:      100000 Failed requests:        30    (Connect: 0, Length: 30, Exceptions: 0) Broken pipe errors:     0 Non-2xx responses:      30 Total transferred:      34315185 bytes HTML transferred:       16113795 bytes Requests per second:    34.10 [#/sec] (mean) Time per request:       1466.26 [ms] (mean) Time per request:       29.33 [ms] (mean, across all concurrent requests) Transfer rate:          11.70 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0   138  164.3     99  3155 Processing:    18  1320  830.8   1155 10989 Waiting:        0  1311  832.1   1147 10988 Total:         18  1458  832.7   1294 10990 Percentage of the requests served within a certain time (ms)   50%   1294   66%   1665   75%   1922   80%   2090   90%   2567   95%   3002   98%   3556   99%   3909 100%  10990 (last request)

FET OUT
========================

Код:

This is ApacheBench, Version 1.3d <$Revision: 1.67 $> apache-1.3 Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/ Benchmarking .****.com (be patient)                                                                             Server Software:        Apache/1.3.27 Server Hostname:        .****.com Server Port:            80 Document Path:          /cgi-bin/fet/out.cgi Document Length:        266 bytes Concurrency Level:      100 Time taken for tests:   3373.840 seconds Complete requests:      200000 Failed requests:        66494    (Connect: 0, Length: 66494, Exceptions: 0) Broken pipe errors:     0 Non-2xx responses:      200043 Total transferred:      121970796 bytes HTML transferred:       53160027 bytes Requests per second:    59.28 [#/sec] (mean) Time per request:       1686.92 [ms] (mean) Time per request:       16.87 [ms] (mean, across all concurrent requests) Transfer rate:          36.15 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0   282  236.3    237  1991 Processing:    23  1399  690.7   1273 13053 Waiting:        0  1391  691.8   1265 13052 Total:         23  1681  719.4   1588 13109 Percentage of the requests served within a certain time (ms)   50%   1588   66%   1893   75%   2092   80%   2230   90%   2607   95%   2939   98%   3363   99%   3685 100%  13109 (last request)

XrenCJ IN
========================

Код:

This is ApacheBench, Version 1.3d <$Revision: 1.67 $> apache-1.3 Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/ Benchmarking .****.com (be patient)                                                                             Server Software:        Apache/1.3.27 Server Hostname:        .****.com Server Port:            80 Document Path:          /galleries/ Document Length:        545 bytes Concurrency Level:      50 Time taken for tests:   4230.158 seconds Complete requests:      100000 Failed requests:        39    (Connect: 0, Length: 39, Exceptions: 0) Broken pipe errors:     0 Non-2xx responses:      21 Total transferred:      91581824 bytes HTML transferred:       54491764 bytes Requests per second:    23.64 [#/sec] (mean) Time per request:       2115.08 [ms] (mean) Time per request:       42.30 [ms] (mean, across all concurrent requests) Transfer rate:          21.65 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0     2   11.5      0   276 Processing:    37  2112 1228.6   1879 302745 Waiting:       28  2109 1228.7   1876 302745 Total:         37  2114 1227.4   1879 302745 Percentage of the requests served within a certain time (ms)   50%   1879   66%   2093   75%   2216   80%   2303   90%   2605   95%   4852   98%   5403   99%   7868 100%  302745 (last request)

XrenCJ OUT
========================

Код:

This is ApacheBench, Version 1.3d <$Revision: 1.67 $> apache-1.3 Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/ Benchmarking ****.com (be patient)                                                                             Server Software:        Apache/1.3.27 Server Hostname:        .****.com Server Port:            80 Document Path:          /galleries/out.cgi Document Length:        264 bytes Concurrency Level:      100 Time taken for tests:   8571.369 seconds Complete requests:      200000 Failed requests:        199978    (Connect: 0, Length: 199978, Exceptions: 0) Broken pipe errors:     0 Non-2xx responses:      199899 Total transferred:      142722582 bytes HTML transferred:       53770465 bytes Requests per second:    23.33 [#/sec] (mean) Time per request:       4285.68 [ms] (mean) Time per request:       42.86 [ms] (mean, across all concurrent requests) Transfer rate:          16.65 [Kbytes/sec] received Connnection Times (ms)               min  mean[+/-sd] median   max Connect:        0     1    5.1      0   235 Processing:    40  4283  929.1   3988 303359 Waiting:       24  4280  929.5   3984 303359 Total:         40  4284  929.0   3989 303359 Percentage of the requests served within a certain time (ms)   50%   3989   66%   4351   75%   4568   80%   4694   90%   5046   95%   6438   98%   7589   99%   9571 100%  303359 (last request)

В процессе тестинга, нагрузка процессоров была такая:
LA(FET)=60-80
LA(XrenCJ)=6-10
При этом, тесты выполнились шустрее для FET, если я правильн очитаю цифры.
В общем результаты более чем странные. Может-ли кто-то покоментировать?

2 Stek

Ну, положим, насчет кривого железа - эт немножко не так.
Ок, ну даже если так. Когда человек приходит к хостеру - ему же интересно знать, кривое у хостера железо или нет? Чтобы вовремя уйти. А не после того, как сидж накроется.

2 kit

LA в данном случае вообще ни о чем не говорит. Мы же с тобой проверяли во время теста доступ к серваку - все летает, несмотря на высокий LA

Я подозреваю, что основная причина разной скорости в данном случае кроется в количестве обращений к диску.
Если в FETе то же самое число обращений, что и в UCJ, то мой скрипт обращается для записи ровно в два раза чаще.
Плюс какое-то время уходит на создание сокета для связи с демоном.

В общем-то, я и не сомневался, что FET будет быстрее моего.
У XrenCJ другие козыри

Меня больше удивляет строчка
Failed requests
в тесте моего аута.
Судя по статсам, обработано все было нормально, core-файлов тоже замечено не было... в чем тогда заключается failed?!

2 Хренодер: я не спец по сиджам, но базу постоянно мучаю. За 3 года работы с mysql все слеты были только по вине хардвера, хотя конечно может мне так и везло

2 Кит:
а что за сервера были то физически, в смысле их характеристики.
Кстати, а как понять это

Цитата:

Complete requests: 200000 Failed requests: 199978

Кстати, если взять прогрыш в производительности XrenCJ даже в два раза, то с учетом того, что он сервак грузит (по тесту) в 6 раз меньше - все равно выйгрыш у XrenCJ будет.

Характеристики сервера, на котором проводились тесты:

1x Supermicro P4DPL-M (E7500, 12G DDR max, onboard Intel NIC)
2x ECC REG DDR 1G DIMM
2x Intel Xeon 2.0A GHz w/512K L2 OEM
1x Mylex Acceleraid 170 (Ultra160)
2x IBM 36Z15 3.4ms 15000RPM Ultra160 SCSI
1x Server case w/500W power supply

Винчестера собраны по mirroring схеме.

Насчет failed requests: тут странно получилось. Мы проводили тест два раза, в первый раз этого не было, но выяснилось что в конфиге сиджея была ошибка, и мы повторили тест после того, как SD все подправил. И вот там вдруг какие-то странные failed requests полезли, хотя внешне, работа сиджея идет без ошибок. На трейдеров редиректит.

failed requests идут по Length
имхо это из-за того, что XrenCJ просто выдает разные заголовки каждый раз. соотвественно и длина ответа разная.

кто-нибудь пробовал такой тест на CobaltWeb проводить?..........