Wpisy z tagiem: aws

W najnowszym artykule na blogu przygotowałem analizę praktycznego zadania programistycznego. Zadanie polega na pobraniu z systemu A zestawu danych i na ich podstawie wykonanie akcji w systemie np. dodanie ich do systemu B. Zadanie wydaje się proste jednak wraz z pojawianiem się kolejnych wymagań i składowych liczba miejsc, gdzie może coś pójść nie tak, będzie rosła.

W artykule zaproponowałem dwa podejścia - jedno proste i jedno, które wielu pewnie uznałoby za przekombinowane. Zachęcam do przeanalizowania problemu i przedstawionych problemów samodzielnie i do podzielenia się swoimi wnioskami i propozycjami.

https://devszczepaniak.pl/batch-processing-zasobow-analiza-problemu/

Umiejętne wykorzystanie kolejek w aplikacjach wykorzystujących komunikację opartą na zdarzeniach może znacznie przyspieszyć niektóre operacje i procesy. Więcej o tym, jak efektywnie możesz wykorzystać mechanizm kolejek do przyspieszenia swojej aplikacji, korzyściach oraz potencjalnych wadach proponowanego rozwiązania dowiesz się z najnowszego artykułu na moim blogu. W artykule przedstawiłem też kilka praktycznych przykładów, gdzie omawiane rozwiązanie mogłoby znaleźć zastosowanie.

https://devszczepaniak.pl/kolejki-na-pomoc-przy-dlugich-i-ciezkich-operacjach/

Select * from cloud:
https://steampipe.io/

Jeśli używasz ElasticSerach warto wiedzieć że trwa podjazdowa wojna pomiędzy Elastic i AWS. Elastic ostatnio zablokowalo wspracie popularnej biblioteki https://github.com/elastic/elasticsearch-py dla opensearch od AWS.

Dla niewstajemniczonych, AWS zdecydował się na fork ElasticSearch/Kibana/Beats/Logstash ponieważ Elastic zmieniło licencje.

Link do commita:

https://github.com/elastic/elasticsearch-py/pull/1623

Link do artykułu:

https://www.theregister.com/2021/08/09/elasticsearch_python_client_change/

15 lat AWS S3

W marcu jedna ze sztandarowych usług w chmurze AWS czyli Simple Storage Service (S3) obchodzi 15 lat. W tej chwili użytkownicy S3 przechowują dzięki tej usłudze 100 bilionów obiektów (10^14), a czas dostępu jest tak niski, że praktycznie nigdy nie zdarzają się time outy. S3 jest zaprojektowane na 99,99% dostępności oraz 99,999999999% trwałości (11 dziewiątek). Tak wysoka trwałość została osiągnięta dzięki automatycznej i darmowej replikacji pomiędzy co najmniej trzema serwerowniami (availability zones) w regionie do którego wgrywamy pliki. S3 od niedawna oferuje read-after-write consistency co sprawia, że plik natychmiast po wgraniu jest dostępny w najnowszej wersji, bez dodatkowych kosztów i bez wpływu na czas dostępu.

Korzystam z AWS S3 w swoich projektach do trzymania plików statycznych aplikacji webowych, a również jako archiwum do przechowywania milionów obiektów (wyszukiwanie zapewniam dzięki Amazon ES). To usługa z najwyższej półki, która jeszcze nigdy mnie nie zawiodła i mam nadzieję, że zawsze tak będzie.

Zastanawialiście się kiedyś ile netflix wydaje miesięczne na usługi AWS? Przypuszczalnie jest to kwota rzędu 19 milionów dolarów.

Top 3 największych klientów AWS:

1. Netflix - 19 mln
2. Twich - 15 mln
3. Linkedin - 13 mln

Źródło: https://www.contino.io/insights/whos-using-aws