Scala w data engineering - od czego zacząć?

Hej,
chciałbym nauczyć się Scali pod data engineering. Moje kompetencje to głównie data science (Python, R), ale chciałbym właśnie rozszerzyć je o trudniejsze tematy.

Wiem, że kiedyś na forum był podobny wątek, ale było to 10 lat temu i od tego czasu technologia poszła do przodu.

Pytanie do osób, które zajmują się Scalą - ile zajęła Wam nauka, aby nauczyć się praktycznych rzeczy, takich jak transformacje danych i inne wykorzystywane w inżynierii danych? Wiem, że na pewno jest potrzebna podstawowa znajomość Javy, którą posiadam.

I czy w ogóle warto się tego uczyć? Od czego zacząć? Chciałbym ogarnąć konkrety potrzebne w branży.

Archimedes napisał(a):

Wiem, że kiedyś na forum był podobny wątek, ale było to 10 lat temu i od tego czasu technologia poszła do przodu.

Technologia może i poszła do przodu, ale pewnie podstawą dalej jest Spark. Wiec na początem książka o Sparku lub 3 kursy

Archimedes napisał(a):

I czy w ogóle warto się tego uczyć?

Banki Sparka uzywają. Nawet było tu ostatnio narzekanie na bank co zatrudnia do Sparka. Narzekanie yło bo w ogłoszeniu pisze że zatrudnia zdalnie a potem chce hybrydowo XD

A czy to nie jest przypadkiem tak, że teraz nowe rzeczy w Sparku robi się raczej w Pythonie lub SQL-u? Oczywiście nawet jeśli by tak było, to dla Polski może to oznaczać nawet lekki boom w przyszłości na utrzymanie staroci w Scali na Sparku, bo na zachodzie będą potrzebowali zamiast tego jakieś inne bardziej teraz sexy wkładki do CV. ;)

xy napisał(a):

A czy to nie jest przypadkiem tak, że teraz nowe rzeczy w Sparku robi się raczej w Pythonie lub SQL-u?

Może tak być, ja nowej rzeczy nie piszę. BTW Scala jest "natywna" dla Sparka, ale nie wiem czy to jeszcze ma znaczenie

xy napisał(a):

Oczywiście nawet jeśli by tak było, to dla Polski może to oznaczać nawet lekki boom w przyszłości na utrzymanie staroci w Scali na Sparku

To by wyjaśniało czemu co druga oferta do Scali to Scala/Spark a nie pisanie crudów :(

KamilAdam napisał(a):

To by wyjaśniało czemu co druga oferta do Scali to Scala/Spark a nie pisanie crudów :(

A nie większość?

Ja bym rekomendował się nauczyć PySparka. Na Scalę sobie zawsze będziesz mógł przeskoczyć, a nauczyć się możesz najważniejszej technologii nie zmieniając języka :P, W zasadzie dużej różnicy między Sparkiem a PySparkiem nie ma.