Куда забекапить 50Т ?

Возникла задачка хранить где то бекапы (куча видео с ютуба выкачивается).
Должна быть также возможность прямо с хранилища ролики просматривать, веб сервер там не обязательно, возможности смонтировать как сетевую папку достаточно.
Пока используем storage-box от hetzner, но там 10Tb макс пакет.

Кто то знает варианты чтоб было больше места и дешевле?

ничего дешевле быть не может, чем самому купить 7шт 8тб винтов (как оптимальных по цена/объем) и любую железку с ними поставить куда-нибудь. хоть на colocation, хоть в кладовку.
в зависимости от потребностей.

смотрю в hetzner эти 10тб стоят около $50/мес, что примерно равно половине цены одного нового 8тб диска (~$120), а б.у. и того дешевле.

если потребность пропадет, диски всегда легко продадутся и большая часть денег вернется.

а что, надо готовиться к отключению ютуба?

7 винтов по 8 мало, надо же хоть некоторую избыточность и рейд10, хотя конечно это самый дешевый вариант в долгосрочку, но не мой случай.

Хочу сервис, чтоб можно было помесячно арендовать, без разовых значительных инвестиций, платить чисто за использование, гибко масштабировать.

EvGenius писал:

а что, надо готовиться к отключению ютуба?

Когда твой контент только на ютубе, и у тебя даже нет его копии, то это не безопасно. Вдруг забанят канал, мало ли.

Текст этого сообщения доступен только зарегистрированным пользователям.

Последний раз редактировалось: Kludge (04/10/22 в 12:52), всего редактировалось 1 раз

Mitch писал:

7 винтов по 8 мало, надо же хоть некоторую избыточность и рейд10, хотя конечно это самый дешевый вариант в долгосрочку, но не мой случай. Хочу сервис, чтоб можно было помесячно арендовать, без разовых значительных инвестиций, платить чисто за использование, гибко масштабировать.

Купи тогда в 2 раза больше винтов, чем надо и продублируй весь контент. Самый популярный и важный можно продублировать несколько раз на разных винтах, самый не востребованный можно вообще не дублировать. Это в любом случае будет в несколько раз дешевле, чем арендовать сервера на стороне.

В мои планы не входит делать свой дата центр, тем более у себя дома
Мне нужен сервис. Для бизнеса.

А трафик туда-сюда, в эту сетевую папку, активно ездит?

Если нет - проще всего взять s3 хранилище у кого-либо из облачных провайдеров. Я лично scaleway пользую, они по цене самые интересные получаются.

Если просто храним данные - переносим их в cold storage.
При цене в 0.002 евроцента за гиг в месяц, 50 TB будет стОить около 100 евро за хранение.

Плюс - трафик.

Сделать это в виде сетевой папки линуксе можно через s3fs-fuse, под винду, думаю, тоже что-то должно быть.

hc писал:

А трафик туда-сюда, в эту сетевую папку, активно ездит? Если нет - проще всего взять s3 хранилище у кого-либо из облачных провайдеров. Я лично scaleway пользую, они по цене самые интересные получаются. Если просто храним данные - переносим их в cold storage. При цене в 0.002 евроцента за гиг в месяц, 50 TB будет стОить около 100 евро за хранение.

Трафик будет ездить неактивно, добвляться может 1Т в месяц.
А скачиваться обычно вообще мало.

https://www.scaleway.com/en/block-storage/

Block Storage volumes are flexible. They can soon be scaled up at any time to increase your available storage space up to 10 TB.
Как и на hetzner, почему то макс размер тома 10Т (ну можно несколько томов взять, норм в принципе)

Обычное хранилище €0.08/GB/month
За 10Тб получается 80€
На Hetzner 46.28€ за 10Tb

А что за cold storage?
Не увидел в ценах такого.

block storage - это не то.
block - это когда тебе в виртуалку внутри самого scaleway добавится block device, типа /dev/sdX, и дальше работай с ним в обычном виде.


Нужно именно s3 : это объектное хранилище.
https://www.scaleway.com/en/object-storage/ - это в целом, и
https://www.scaleway.com/en/c14-cold-storage/ - в частности.

Mitch писал:

Обычное хранилище €0.08/GB/month За 10Тб получается 80€

800 :)

Mitch писал:

А что за cold storage?

https://aws.amazon.com/glacier/ , https://cloud.google.com/storage/archival , https://azure.microsoft.com/en-us/services/storage/archive/ и аналоги (на ленточных накопителях).
Это дешево и удобно для бекапов, но скорость извлечения не позволит прямо с хранилища ролики просматривать.

Добрый день.
Сегодня минимальная цена на рынке за 1Тб облачного хранилища - $12,5/мес (это Amazon и это вы будете дополнительно платить за трафик) итого за 50Тб Вы будете платить 625 евро в месяц без учета трафика

Мы предлагаем объектное хранилище $11,3/мес за Тб (при условии оплаты на год)
Итого $565 за 50 Тб. Или 14.5$ за Тб/мес при ежемесячной оплате.

Дешевле можно только если возьмете физический сервер. Чтобы это стало решением для вас - мы возьмем на себя настройку (бесплатно): nginx для стриминга видео-файлов, samba для доступа по сети и т.п.

Если настроить сервер просто как хранилище, без райда - есть 2 варианта:

254$ за Xeon E3-12xx/16G RAM/4x10Tb
эффективное хранение примерно 35Тб, при условии организации без райда.
254$/35 = 7.25$/1Тб

можно поставить 2 сервера и даже объединить в общее хранилище через гластер получим 70Тб.

Вариант-2
Storage Server (до 12 дисков)
Dual Xeon E5-26xx/64G RAM/6x10Tb
55Tb эффективного хранения без райда

650$/mon

650/55 = 11.8$/Tb

На эти физические серверы можно индивидуально обсудить скидку или администрирование, входящее в эту цену

Ищи кто предоставляет услуги ленточного хранилища.

Там цена в среднем 0,003 доллара за гигабайт хранения данных на протяжении всего срока эксплуатации

И 50Т для ленточного хранилища сопли. Они там ПБ меряются

Вставлю пять копеек
Брал на Novoserve Supermicro AMD EPYC (36LFF)
36x16TB где то 560TB полезного места
Под систему там отдельно на SSD есть место
Понимаю что многовато но там можно и поскромннее выбрать хранилища
novoserve.com

Mitch писал:

Должна быть также возможность прямо с хранилища ролики просматривать

Храните на другом канале/каналах, только с доступом по ссылке, такие ролики спокойно дёргаются через youtube api и вероятность их бана чуть меньше нуля. Из минусов - потеря оригинального битрейта в случае с хайрез, плюс - бесплатно.

Такая схема популярна в бедных частях азии, у ютьюба там хорошие каналы, так они порнуху заливают на ютьюб с доступом по ссылке, затем какими-то неведомыми костылями через апи хотлиекуют видосы в свои плееры. Но видимо тема конкурентная и походу сдают друг друга, по этой причине там 2-3 кнопки альтернативных плееров под видосом, но с тем же https://xxxxxxx.googlevideo.com/videoplayback, вся эта тягомотина явно приносит весомый профит, трафа на таких, зачастую адски кривых псевдотьюбах - моё почтение...

В контач можно закинуть, там тоже есть api, только называть нужно так, чтобы никто не нашел, тип как в росреестре - ЛСДУ3 и ЙФЯУ9 ) Там полно порнухи и прочей дичи, так что если не светится, то жить можно. Полно тьюбоводов из ру сегмента, которые исходники хранят в контаче, затем кто посмелее - хотлинкуют, кто поумнее - проксируют