Cloud Native workflows

Cloud Native workflows
YA
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 2384
0

Mam taki scenariusz:
a) rzecz dzieje się w chmurze (AWS)
b) logicznie są dwie aktywności składające się na prostą sekwencję:

  • przygotowanie zbioru danych (operator podaje parametr wejściowy, zaś job realizuje złożoną logikę i generuje dane wejściowe dla kolejnego joba),
  • przetworzenie zbioru danych - tu przetwarzanie może być realizowane przez ileś tam replik

Jak to w chmurze natywnie i ładnie zrealizować?

Opcja#1 - initContainers - prostota
Opcja#2 - jakieś dedykowane mechanizmy workflow. No właśnie, jakie? (google podpowiada Tekton/Argo). Czy ktoś z tego korzystał i może podzielić się wrażeniami?

markone_dev
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 833
1

Ja osobiście nie używam, ale koledzy z zespołu używają Argo Workflows na EKS i sobie chwalą. Niestety nic więcej nie mogę powiedzieć oprócz tego że Argo wydaje się być standardem de facto dla K8S-a ponieważ występuje w większości architektur referencyjnych AWS EKS zorientowanych na przetwarzanie danych jako kluczowy komponent do orkiestracji jobów na EKS.

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.