Od dawna mam z tyłu głowy jeden problem i do tej pory nie natknąłem się na żadne sensowne rozwiązanie.
Mam w c**** danych binarnych pliki te mają od 100MB do 1 GB. A rząd wielkości wszystkich danych to 100TB. Operacje jakie wykonywane są na plikach to bardzo duża liczba odczytów pewnego zakresu bajtów z takiego pliku. W przypadku baremetal nie ma problemu jeden odczyt to 10-30ms więc nawet jak zrobię ich 100-200 na jedną operację to nie ma problemu.
W przypadku cloudowych rozwiązań zaczynają się schody.
-
Żaden provider cloudowy dla usług typu s3 nie obsługuje multi-range byte requests. A w większości czas jednego odczytu oscyluje >100ms czyli rząd wielkości więcej niż baremetal i obsługa systemu staje sie praktycznie niemożliwa.
-
Dla usług typu EBS cena samego trzymania danych wychodzi prawie 5k $ miesięcznie więc opłacalność tego żadna.
Także w sumie pytanie czy znacie jakieś rozwiązanie tego typu problemów. I tak z ciekawości znacie hostingi które udostępniają duże przestrzenie ? Bo zazwyczaj to jest tak ze jak już się znajdzie hosting który to odstępni to maszyna jest az za mocna ponad 12 rdzeni i ponad 128GB ramu i boostuje to cene samego hostingu. A na takim dedyku nie działoby się nic więcej niż odczyt i zwrócenie danych. A znów w słabszych konfiguracjach nie da sie wrzucic tyle pamięci dyskowej.
Edit:
Storage nie musi być backupowany jakoś super bo dane nie są źródłowe więc ich odtworzenie to nie problem.