Что скажите про софтовый RAID 1 на SATA?

Интересует ситуация с Dell серверами. Насколько производительными могут быть хардовый рейд на SATA дисках в сравнении с софтовым? Пока не вникал в конкретные модели контроллеров, но может и суть вопроса не в контролле ибо хз какими именно железками в этом плане пестрят Dell сервера класса R210 и чуть лучше.

На малых нагрузках, скорее всего, разницы не будет. На больших, возможно, проявится. Да и то, если перегружать одновременно проц и диск, что непросто.

Если использовать FreeBSD и массив на базе ZFS, будет только выигрыш. И в производительности и в сервисе. И памяти, памяти побольше

На DELL рейд контроллеры PERC гавно. И драйверы под них тоже гавно, глючат ссуки, особенно под FreeBSD. Софтовые рейды, вшитые в материнку - еще большее гавно.

Linux MD софтовый ставь - не ошибешься.

PS. Намудохался я с рейдами в R210 в свое время - ой ё....

Присоединюсь про ZFS. FreeBSD 9.x x64 + ZFS mirror выигрывают у хардового raid контроллера класса Dell R210 и подобных, особенно по скорости чтения. Не говоря уж про кучу всяких полезных плюшек самой zfs. Но памяти лучше побольше, это да Никак не менее 8 гиг.

А софтрейд лучше не надо. Он проиграет хардовому и тем более zfs.

kong писал:

А софтрейд лучше не надо. Он проиграет хардовому и тем более zfs.

Тестировал именно R210 с PERC и с Linux MD на экстремальных отдачах. Ну вообще никакой разницы, кроме глючных дров под PERC, не заметил.

Насчет zfs не знаю. Для меня фря уже давно ушла в историю былинного IT консерватизма - со времен как надо было ставить linux threads чтобы mysqld нормально работал на SMP.

У меня FreeBSD 8.2 64 8GB RAM исторически получились на 2х серверах. Немного сутило то, что из-за особенностей контроллера PERC H200 именно этой модели R210 пришлось отказаться от хардового RAID ибо он в силу своей специфики заводится только на SAS.

Всю жизнь думал, что хард в разы лучше и быстрее. Теперь протеворечивое состояние.

А что посоветуете по поводу SAS массива и видыа реализации RAID - хард\софт? Может есть какие-то конкретные модели DELL серверов или в частности контроллеров?

kong писал:

А софтрейд лучше не надо. Он проиграет хардовому и тем более zfs.

Не допонял эту строку. Что значит софтрейд?

Если бсд, то делай диски в stand-alone и geom mirror ставь. Точка.

Vyacheslav писал:

У меня FreeBSD 8.2 64 8GB RAM исторически получились на 2х серверах.

8.2 тоже подойдёт. Можно докатить до 9ки, но не обязательно.

Vyacheslav писал:

Всю жизнь думал, что хард в разы лучше и быстрее. Теперь протеворечивое состояние.

Раньше так и было в любом раскладе. Пока были слабые процессоры и мало памяти

Vyacheslav писал:

А что посоветуете по поводу SAS массива и видыа реализации RAID - хард\софт? Может есть какие-то конкретные модели DELL серверов или в частности контроллеров?

Предпочитаю отказываться от хардовых рейдов в пользу zfs, особенно в многодисковых конфигурациях, если хватает памяти. Особенно хорошо получается на SSD. Если памяти мало и есть возможность - хардовый рейд. Если совсем всё плохо - то лучше найти сервер получше ;)

Vyacheslav писал:

Не допонял эту строку. Что значит софтрейд?

Софтрейд = софтовый рейд. Он же geom/mirror ;)

И это всё так, если нужна надёжность. Страйп всё равно на чём строить, один шут ненадолго

Pentarh писал:

Тестировал именно R210 с PERC и с Linux MD на экстремальных отдачах. Ну вообще никакой разницы, кроме глючных дров под PERC, не заметил.

Ну в целом да, разница небольшая, кроме разве что загрузки проца. ZFS по скорости чтения на мирроре выиграет в обоих случаях примерно вдвое.

Pentarh писал:

Насчет zfs не знаю. Для меня фря уже давно ушла в историю былинного IT консерватизма - со времен как надо было ставить linux threads чтобы mysqld нормально работал на SMP.

Рекомендую ознакомиться с zfs и её вкусностями ;) Для линуха она тоже иногда бывает, хоть и немного через задницу. А linux threads для myslqd - это уже настолько давно, что я и версию фри-то не вспомню. Но точно никак не выше 5.0 ;) С тех пор многое изменилось.

Не хотелось бы разводить холивар, но у линуха btrfs тоже могуч в связке с lvm.

Zetabyte вроде как хороша, крута, велика. Но нахуя такая моща нужна на stand-alone серваке я не понимаю.

А кластеризация во фре? Не, не слышал.

Vyacheslav писал:

Может есть какие-то конкретные модели DELL серверов или в частности контроллеров?

А почему именно в разрезе DELL такой интерес? Нашел ключи от склада?

Pentarh писал:

Не хотелось бы разводить холивар, но у линуха btrfs тоже могуч в связке с lvm.

Когда его допилят до продакшна, будет неплохая система, где-нибудь через годик. Стабильность на данный момент у btrfs сомнительна, однако.

Pentarh писал:

Zetabyte вроде как хороша, крута, велика. Но нахуя такая моща нужна на stand-alone серваке я не понимаю.

Так тем и хороша. Скорость + сохранность данных - её основные плюсы. Если это главное - то это правильный выбор В плюсе так же удобство бэкапов, например. Переносимость. Можно, например, завернуть в обёртку всю файловую систему сервера и развернуть на совершенно другом сервере. Вообще много всего полезного. И кластер для этого не нужен

Pentarh писал:

А кластеризация во фре? Не, не слышал.

На одном сервере? Зачем?

phantom писал:

А почему именно в разрезе DELL такой интерес? Нашел ключи от склада? icon_smile.gif

У моего ДЦ только DELL.

kong: только я не пойму всё-таки твою позицию... То ты говоришь, что "софтрейд лучше не надо. Он проиграет хардовому и тем более zfs", а с другой стороны ты хвалишь софтовый рейд на zfs файловой системе!
Или "софтрейд" - это подразумевается полухардварный рейд, который выполнен в виде контроллера, но всё работу перекидывает на проц?

Как я понял, не все админы согласны с тем, что софтовый рейд лучше хардового. Может есть конкретный тест? Хотя тест подразумевает конкретный контроллер, а это не будет обьективно.

А сколько железу лет спрашивали ?

там просто батарейка садится из-за этого глюки могут быть, на всех новых серверах и делл и супермикро ни одной проблемы с хардовым небыло.

Были проблемы на старом железе у пары серверов, после замены серверов на новые все идеально....

RAID 1 , RAID 10, RAID 5 все отлично работает ...тьфу, тьфу

Если 100TB там разница на лицо ...хотя можно и с софтварным жить.

Минус софтварного - он вылетает гораздо чаще хардварного, будете потом ребилдить hdd замучаетесь....

xDizzy писал:

Минус софтварного - он вылетает гораздо чаще хардварного, будете потом ребилдить hdd замучаетесь....

На больших обьёмах, согласен, особенно если речь о таких обьёмах как 100Тб. Но на 1-2 Тб у меня было что-то в районе ~10ти часов на софтовом. Как по мне, это не сущность проблемы.

kong писал:

Присоединюсь про ZFS. FreeBSD 9.x x64 + ZFS mirror выигрывают у хардового raid контроллера класса Dell R210 и подобных, особенно по скорости чтения.

соглашусь, ZFS рулит )

Pentarh писал:

Тестировал именно R210 с PERC и с Linux MD на экстремальных отдачах. Ну вообще никакой разницы, кроме глючных дров под PERC, не заметил. Насчет zfs не знаю. Для меня фря уже давно ушла в историю былинного IT консерватизма - со времен как надо было ставить linux threads чтобы mysqld нормально работал на SMP.

ну под линух уже тоже ZFS есть... правда как-то не очень стабильно пока работает

Советую ZFS и FreeBSD.
Чего стоит только дедупликация данных. Очень крутая штука. Используется там, где много похожих файлов. Любой файл пишется фрагментами, и если такой фрагмент уже записан, то он не пишется, а вместо него ставится ссылка на уже записанный фрагмент. Этим экономится скорость записи и размер занимаемого пространства.
А также компрессия записываемых данных, создание снимков и много других клевых штук. А главное все это сделано по-человечески и удобно.

Vyacheslav писал:

kong: только я не пойму всё-таки твою позицию... То ты говоришь, что "софтрейд лучше не надо. Он проиграет хардовому и тем более zfs", а с другой стороны ты хвалишь софтовый рейд на zfs файловой системе!

Дело в том, что zfs - это НЕ raid. Это распределённая масштабируемая файловая системы с очень жёстким контролем сохранности данных. Это только кажется, что zfs mirror = raid-1, zfs raidz = raid-5 и raidz2 = raid-6. На самом деле там всё совсем не так

Vyacheslav писал:

Или "софтрейд" - это подразумевается полухардварный рейд, который выполнен в виде контроллера, но всё работу перекидывает на проц?

И это тоже. Либо полухардовый рейд, либо geom/* - это софтрейды. Они работают за счёт процессора. Как, собственно, и zfs. Но zfs даёт гораздо бОльшую надёжность и гибкость, чем софтрейды, особенно на количестве дисков больше двух. Но и на двух она всё равно выигрывает.

Vlad_i писал:

Советую ZFS и FreeBSD. Чего стоит только дедупликация данных. Очень крутая штука. Используется там, где много похожих файлов. Любой файл пишется фрагментами, и если такой фрагмент уже записан, то он не пишется, а вместо него ставится ссылка на уже записанный фрагмент. Этим экономится скорость записи и размер занимаемого пространства.

Я бы, кстати, не советовал увлекаться дедупликацией без особой нужды. Особенно, если объём данных велик и вы не имеете неограниченного объёма памяти

Vlad_i писал:

А также компрессия записываемых данных, создание снимков и много других клевых штук. А главное все это сделано по-человечески и удобно.

Да, всё так. Компрессия, например, бывает особенно полезна для логов при дефиците свободного места.

xDizzy писал:

RAID 1 , RAID 10, RAID 5 все отлично работает ...тьфу, тьфу

Кстати, никто и не говорил, что хардовый рейд хуже zfs. Просто zfs - лучше и удобнее

xDizzy писал:

Минус софтварного - он вылетает гораздо чаще хардварного, будете потом ребилдить hdd замучаетесь....

Resilvering (ребилд) zfs raidz массива из 5x2TB дисков при замене одного из вылетевших дисков на достаточно слабом железе занял около 40 часов. При этом массив забит данными под завязку (почти 8TB), свободно было меньше 100 гиг. Меньше данных - быстрее ресильвер

Хардовый рейд, кстати, тоже не быстр в этом смысле. Ребилд того же RAID-5 на 6x1TB дисков при замене одного из дисков занял около суток.

У меня на суръезной железяке 3ware 24x2T SATA, ребилд RAID-6 из 22 дисков занимал аж 3 суток.

Один раз в ходе ребилда вышло из строя два винта (итого 3 - смерть для рейд6). Ну молотком да бубном как то вырулили....

kong писал:

Дело в том, что zfs - это НЕ raid.

ZFS - СОВСЕМ не рейд. Рейд по определению прозрачен для ОС. А ZFS - это действительно совершенно другая файловая система, разработанная совсем не под Линукс, а под Солярис. Так что переходить на него без специально обученного админа я бы не рискнул.