Помогите выбрать сетевую карту под сервер тумбнейлов

Дано: делловский сервер с трафиком в 30mb. 80% загрузок - тумбнейлы, вес которых колеблется от 3 до 10 kb. В качестве веб-сервера: lighttpd.

На данный момент на сервере стоит встроенная в материнку сетевуха
Broadcom NetXtreme II (BCM5706/BCM5708) PCI/PCIe Gigabit Ethernet
фревый драйвер - 'bce'. 10/100/1000, включена на 100/full duplex.

Есть подозрения, что графика отдается не так быстро, как могла бы, и это происходит из-за сетевой карты.

Вопросы:

1. Оптимально ли выбрана сетевая карта? Есть подозрение, что более дорогая и качественная или приспособленная под подобные задачи модель даст большой выигрыш.

2. Какие параметы настройки сетевой карты (заточка под большое количество запросов, небольшие пакетоы) существуют и какие установки являются оптимальными?

Последний раз редактировалось: kit (27/03/07 в 01:07), всего редактировалось 1 раз

100/full duplex = 100/8 = 12,5 мегабайт в секунду туда + 12,5 обратно

При большом чимле пользователей реальная скорость за счет паразитного трафика - меньше.

lighthttpd - насколько знаю наиболее шустре решение.

какой проц на делловском серваке? какая ОС? там может быть надо не только настройку сетевухи но и "тонкую" настройку стека.

Средний загруз системы.

Я думаю дело не в заточке самой сетевой карты.

Судя по моим статическим сервакам, 30Мбит это слёзы для правильно настроенного сервера.

У меня на 50Мбит 0.1-0.2 LA.
В среднем 97% idle.

Имхо сетевая карта может давать проблемы только на уровне протокола ethernet, что можно посмотреть и проверить.

Тюнинг httpd сервера и ip стэка как мне видится может дать больше.

P.S. всё ИМХО ;)

brainstorm писал:

какой проц на делловском серваке? какая ОС?

CPU: Dual Xeon DualCore 3.0GHz
OS: FreeBSD-6.2
средний LA: 0.2

но даже при низком LA есть некоторое ощущение, что сервер не отдаёт большого количества файлов быстро. При открытии страницы с большим количеством графики, которая залинкована с этого сервера (например морда сиджа), тумбнейлы открываются постепенно.

lighthttpd не сталкивался. Если он на тредах работает, то надо промаппить pthread на libthr в /etc/libmap.conf

Следующие переменные лучше прописывать не тупо, а курить маны и подтюнивать, но вариант в принципе рабочий.

sysctl.conf:
kern.ipc.somaxconn=1024 ... 8192
kern.ipc.maxsockbuf=1048576
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=32768
net.inet.udp.recvspace=655350
net.inet.ip.intr_queue_maxlen=100
kern.maxfiles=32768

/boot/loader.conf
kern.ipc.nsfbufs=32768
kern.ipc.nmbclusters=131072
kern.maxusers=512

в ядре
поддержка тяжелых директорий
options UFS_DIRHASH
снятие нагрузки с сетевухи (точнее с процессора)
options DEVICE_POLLING

Возможно файловая система тормозит из-за тяжелых директорий. Размер листинга директории лучше не превышать более чем 4к

Возможно сделать размер блока в районе среднего размера тумбы при форматировании ФС.

А, да. Еще опция монтирования noatime

Фря норм. Она с памятью гораздо лучше других работает. Загонит половину тумб в кеш.

Но! Можно еще изъебнуться и поставить nginx + mod_cached (на нем ливжурнал работает)

kit писал:

1. Оптимально ли выбрана сетевая карта? Есть подозрение, что более дорогая и качественная или приспособленная под подобные задачи модель даст большой выигрыш. 2. Какие параметы настройки сетевой карты (заточка под большое количество запросов, небольшие пакетоы) существуют и какие установки являются оптимальными?

1. Из ненормальных встречал пока что realtek (rl*).
2. тут не столько параметры сетевухи, сколько параметры ядра. привел выше nota bene

а вообще это надо на цифры смотреть всяких там systat,iostat,netstat,vmstat - обычно с помощью них можно найти узкое место системы. А может вообще убийца садовник... тьфу, www-server ) с какой то вредной опцией поднялся и выдергивается Кстати надо немало внимание уделить и его конфигурации - может у него количество "деток" (child) вертится у максимальной величины и он уперся в конфигурационный лимит

стоит ли в lighttpd.conf server.event-handler = "freebsd-kqueue"? Если нет то лучше поставить, иначе он стандартно работает с select.

C Broadcom Tigon3 имели кучу проблем, они любят конфликтовать с оборудованием Cisco. Замена на интеловскую сетевуху снимало все проблемы. Проблемы были в виде ухода сервера в оффлайн на несколько минут несколько раз в день.

это решается очень просто (линукс)

Код:

ethtool -K eth0 tso off

а в сабже говорится совершенно о другой сетевухе, так что я не понял к чему это

1. Если нужна нормальная сетевая - бери интел, проблем с ними нет у нас работает выше 200М и с запасом.
2. Я бы пробывал юзать nginx.
3. посмотри много ли интераптов в топе, если да, то смотри по прерываниям кто- 90% что сеть, ставь поллинг, ну и вообще посмотри что там и где, например уверен, что у тебя толпа прерываний на USB будет, хотя ты его не юзаешь ))
4.предложенный вариант тюна, действительно может помочь, а может и нет )), нужно смотреть по конкретной ситуации - это не универсальное средство.
5. ну и посмотри что там на netstat -i - нет ли толпы ошибок, или коллизий - часто бывает что из-за дефекта кабеля свичь сваливается в халф или сетевая, что довольно сильно мешеает ))

Возможно тормаза из-за скорости HDD, как вариант

Обновление параметров: Оказывается сервер висит на 100Мб/c порте у хостера, на днях запланирован перенос его в другую ст ойку на 1Гб/c порт.

Это может быть источником проблемы?

kit писал:

Это может быть источником проблемы?

На 30mb нет.

Это среднее значение, но ведь могут быть локальные краткосрочные пики, которые даже в MRTG не будут отражены, так как его значение в 30Мб/с и есть среднее между минимумами и максимумами. Вдруг в максимуме цифра гораздо выше?

/usr/ports/net/nload

надо смотреть реал тайм нагрузку. если режет на сотке, тогда да. Ну вообще гигабит в сотку нехорошо, нехорошо.

а еще это может быть изза внешнего канала свича и его загрузки