Как правильно отдавать видео с нескольких серверов?

CDN - сумашедшие цены, честно сказать.

Посему решено было взять для пробы 1Gbps Unmetered у лизвеба.
Все отлично, но 1Gbps стало не хватать. Как масштабироваться?

Очевидно, надо делать сеть из нескольких серверов.
Но я плохо представляю как на деле это работать должно.
Кто-нибудь схему может обрисовать? Какого типа сервера нужно докупать и что делать с ними программистам?

Спасибо

Последний раз редактировалось: davedeviss (17/05/15 в 04:16), всего редактировалось 1 раз

Потому цдн столько и стоит, что там столько нюансов, шо пздц.

Съел собаку на этом. Несколько гигабит отдачи с обычных винтов это уже большая проблема. На программистах не выедешь, нужен толковый админ.

Вообще, если не сильно заморачиваться со своими решениями - то брать mogilefs, раскиданную по одиночным винтам с избыточностью 2.

Более продвинутые решения включают системы горячего и холодного кеширования, но это проще взять цдн )

У меня движок KVS и в нем в группе серверов хранения три гигабитных сервака от Лизвеба прикреплены,все отлично раздается поровну со всех за балансировку отдачи отвечает движок KVS можно настроить чтобы с одного больше раздавалось с другого поменьше,в общем все очень гибко,как бюджетную схему рекомендую.

Встречный вопрос,правда офтопик,сколько удавалось выдавить с гигабитных серваков Лизвеба?У меня 850 Мбит удалось выдавить из каждого и L.A. был в районе 4.5 проц загружен 60 процентов

При чем тут ла и проц, если боттлнек при отдаче статики - время позиционирования головок винчестера?

iostat надо смотреть, насколько винты нагружены.

Гуманитарии

Имеется в виду конечно объем контента, существенно превышающий объем ОЗУ.

Один винт сата в худших условиях нагрузки отдает 40 Мбит - полный рэндом позиционирования при отдаче тучи мелких файлов.

Последовательное чтение работает лучше в случае с видео, тут можно добиться отдачи от 150 Мбит с рыла.

Винты в рейд массиве на отдаче работают хуйово, ибо дергаются лишний раз головки.

Сас работают в 2 раза быстрее сата. ССД работают вообще без позиционирования, но имеют малый объем. На них пиздато вешать горячий кеш.

Ну и в общем куча таких нюансов. Это когда востребованного контента больше чем ОЗУ и системное кеширование не работает или работает плохо.

А нахер нам iostat ?Работает сервак без проблем - все ништяк,сыпятся ошибки или мощей не хватает - добавляем еще один,вот и вся недолга!Железо то не мое,арендованное,нехай винты загружены по самое нехочу

Ну так за еще один платить надо - какой толк, если ты используешь ресурс на половину?

Хотя некоторые хостеры (sg managed) дают сервера просто так, считают только бендвич.

Хотя, не, под распиздяйскую систему отдачи просто так не дадут Торну горячий и холодный кеш подавай и контракт на 20 гигабит. Тогда хоть две стойки бесплатно Ну так было раньше по крайней мере.

Дк в том и дело, что сейчас серваков и каналов как жопы, а СДН, если дешёвый, то с граблями.

Здравствуйте,
Можем предложить несколько вариантов.
1. Самый простой, но относительно дорогой.
Просто заменить 1Gbps сервер на 10Gpbs. Для примера:
Xeon E3-1271V3 3.6GHz / 32GB RAM / 4x1TB SSD / 10Gbps Unmetered $1800
2 x Hexa-Core Intel Xeon E5-2620V3 / 64GB RAM / 4 x 1TB SSD / 10Gbps Unmetered $1949
2 x Hexa-Core Intel Xeon E5-2620V3 / 96GB RAM / 8 x 1TB SSD / 10Gbps Unmetered $2199

2. Использовать CMS, которая поддерживает распределние нагрузки. Например, уже упомянутый KVS (мы предоставим лицензию).
3. Использовать CMS которая у вас работает сейчас и собрать свой мини-цдн, в который вы сможете добавлять сервера по необходимости http://amhost.net/ru/streaming/

С уважением,
Ваш Amhost.net

За 1800$ я бы предпочел построить сеть из семи гигабитных unmetered серваков от Leaseweb,к тому же это отказоустойчивая система,в случае выхода одного двух серваков вся система не страдает,но это сугубо мое мнение.

Ну, эмм, если терабайтники ссд подешевеют, то нах все супер системы

CDN от Лизвеба самый тормозный по любым тестам. Что уж говорить тогда про каналы с серверов.. Дешевле и хуже, имхо, только если дома десктоп поставить. Привожу 2 скрина, тест по пингам и скорость закачки файла. Тесты сделаны с компов конечных пользователей (не с серверов в ДЦ, как в хосттрекере, к примеру), выборка за последние 7 суток.
http://prntscr.com/76a2y5
http://prntscr.com/76a3b8
Так что да, дешево, но гнило..

Ну вот...опустили горячо любимый Лизвеб

`

DiamonD писал:

... Лизвеб ... самый тормозный по любым тестам ... хуже, имхо, только если дома десктоп поставить ...

Лизвеб - это реально настолько плохо???

`

Вот бляяяя...А я люблю Лизвеб,просто цены у них сказочные бывают, иногда задарма серваки можно взять как то так...

Самое обидное, что такие вот топикстартеры (и подобные) раздают краденые/пиратские видео, нанося ущерб правообладателям.
Когда же закроют все эти тюбы и стримы.

Да иди ты нахер. Правообладатели хуевы. Наснимают говна, что за бесплатно раздавать западло даже. И разводят потом пальцы - мы бля Правообладатели, а вы все воры.

Хороший контент продается, даже если есть возможность скачать на халяву.

Цифровой век нахуй, каждый дегенерат с камерой в руке мнит себя кустурицей.

Если тьюбы и стримы закроют что же тогда останется в интернетах ?!С товарищем Pentarh согласен полностью хороший контент продается всегда.

Securom писал:

Если тьюбы и стримы закроют что же тогда останется в интернетах ?!

Начнеться тогда новая эра адалта - возрождение!

Может быть я не совсем понял проблему, но смасштабировать статику это не сложно.
0. Сессии храним в БД. Это не обязательно, можно балансировать только статику.
1. nginx в качестве балансировщика

Цитата:

upstream backend { server backend1.example.com weight=5; server backend2.example.com:8080; server unix:/tmp/backend3; server backup1.example.com:8080 backup; server backup2.example.com:8080 backup; } server { location / { proxy_pass http://backend; } }

2. Не хватает мощей. Поднимаем еще один сервер. Мы для этого активно используем docker

Securom писал:

За 1800$ я бы предпочел построить сеть из семи гигабитных unmetered серваков от Leaseweb,к тому же это отказоустойчивая система,в случае выхода одного двух серваков вся система не страдает,но это сугубо мое мнение.

А построить сеть это сколько стоит?

dlink писал:

Может быть я не совсем понял проблему

ты совсем не понял. отдать не проблема. Проблема равномерно разместить, чтобы винты не позатыкались от seek'ов.

Цитата:

ты совсем не понял. отдать не проблема. Проблема равномерно разместить, чтобы винты не позатыкались от seek'ов.

Да, вы правы, узкое место input-output с диска.
Но задача-то решить проблему за минимальные деньги, а не выжать 100% из винтов.
Так добавление еще одного сервера линейно уменьшает нагрузку в том числе и на IO.
Я считаю, что чем покупать 1 сервер за 2000$ (!!!) лучше купить 10 по 60$ (=600$)
Вот у лизвэба можно затарится (Посмотрел в соседней ветке)
https://ru-tld.ru/arenda-serverov/

Мы затариваемся у хетзнера, тк контент не адалт пока
https://robot.your-server.de/order/market/country/RU
За 50 евро очень приличная машина еще и с хардварным рэйдом

То есть кластер получается дешевле чем отдельный сервер, плюс легко масштабируется, плюс отказоустойчивее.
Минус один - сложнее в поддержке.

С amhost работаю и вот что у них встречал по поводу CDN. А на лизвеб нечего наговаривать нормальный ДЦ.