Czy kariera w data science/data analyst jest perspektywistyczna?

0

Hej, czy w dobie rozwijającego się AI/chat GPT opłaca się pójść w stronę data science/ data analyst całkowicie od zera?
Pytam, ponieważ przeglądając internet trafiłem na dwie skrajne odpowiedzi- jedni twierdza, że chat gpt potrafi takie cuda wygenerować, że ta dziedzina pójdzie do lamusa, a inni twierdzą, że w tej dziedzinie będzie coraz więcej miejsc bardzo dobrze płatnej pracy- jak to finalnie wyglada waszym zdaniem?

Dodatkowo, jak wyglada konkurencja? Wiem, ze najwieksza konkurencja jest przy webówce, gdzie na 1 miejsce potrafi walczyc kilka tysiecy osob, a jak to wyglada w ds/da? Wydaje mi się, że na pewno jest mniej osób chętnych, ale pracy tez o wiele mniej- prawda to? Czy w przyszlości może sie to zmienic i bedzie wiecej pracy?

Dzieki za wszelkie odpowiedzi/sugestie! <3

1

Zacznę od ilości chętnych, dzięki wszelakim kursom chętnych na DS/analityka jest więcej niż na frontend, tak jak kilka lat temu internet zalała fala reklam zostań DS bo zapotrzebowanie na nich będzie rosnąć najszybciej, faktycznie były takie dane z USA, tylko o ironio ludzie, którzy się na to złapali, nie ogarnęli, że duży % od małej liczby daje mały wynik, idealni kandydaci na DS xD, i tak jeszcze w tamtym roku były ogłoszenia na Linkedin gdzie było po >1k chętnych, bijąc rekordy (nawet na fornt nie było tylu chętnych), tak teraz idzie fala reklam "zostań analitykiem", cały FB zawalony obietnicami o pięknej przyszłości w roli analityka

Co do przyszłości, to na DS pewnie będzie zapotrzebowanie, ale o dość specyficznym skilu, i bardzo dużą konkurencją, zresztą moim zdaniem DS i sec to dwa najbardziej wymagające zawody, znaczeni przekraczające wiedzę programisty czy fronta, z wysokim progiem wejścia, natomiast większość ogłoszeń w PL na DS to tak naprawdę ogłoszenia na analityka.

Rola analityka jako osoby obsługującej sql/progrma bi/pythona powoli się kończy, co prawda jeszcze parę lat to potrwa, ale już dziś są pierwsze sukcesy w podłączeniu LLM do bazy danych, to co dziś robi analityk będzie można napisać zwykłym językiem, co spowoduje zwiększenie wydajności i duże ograniczenie zapotrzebowania na ten zawód.
Natomiast będzie potrzebny ktoś bardziej taki jak BI, ale raczej z wiedzą z zakresu zarządzania, finansów, ekonomi + umiejętności raportowania/promptowania/forecastowania + dobra znajomość danej branży

4

Jak jesteś prawdziwym DS z mocnym backgroundem matematyczno-statystycznym to jest to zajebiście płatna fucha. Mam w projekcie gościa co zrobił doktorat z astrofizyki i pracuje jako DS. Tworzy algorytmy ml od zera. Mega łebski gość.

Generalnie wszystko co związane z danymi jest perspektywiczne, bo praktycznie wszystko się na nich opiera.

1

Prawdziwe data science to matematyka level master (doktorat must have). Próg wejścia? Mega duży. Umiejętność użycia tensor flow w projekcie do rozwiązania jakiegoś trywialnego problemu to nie data science.

Jeśli chodzi o analityka danych to ch.. tak naprawdę wie, bo każda firma trochę inaczej to stanowisko definiuje. W jednej będziesz robił dashboardy w power bi, w innej szukał korelacji czy trendów łącząc i analizujac dane z wielu źródeł by odpowiedzieć na ważne pytania biznesowe, a w jeszcze innej będziesz zbierał wymagania. W zależności do której firmy trafisz na analityka to próg wejscia będzie wyżsy albo niższy.
Im mniejszy próg wejścia (poziom wiedzy na poziomie szkoły podstawowej) tym wieksza konkurencja.

1
markone_dev napisał(a):

Prawdziwe data science to matematyka level master (doktorat must have). Próg wejścia? Mega duży. Umiejętność użycia tensor flow w projekcie do rozwiązania jakiegoś trywialnego problemu to nie data science.

Nie tak do końca. W biznesie to właśnie rozwiązywanie problemów biznesowych z użyciem ML/NNs, które sprowadza się do przygotowania danych i strojenia hiperparametrów, aby przygotować dobry model predykcyjny. W biznesie raczej nie wymyślasz kolejnego optymalizatora spadku gradientu, tylko korzystasz z tego, co ktoś wymyślił i pokazał, że jest dobre. Takie rzeczy to ludzie robią raczej na uczelniach, potem pisząc z tego publikacje. Tak samo nie wymyślasz czegoś tak wielkiego jak rekurencyjna sieć neuronowa, by rozwiązać biznesowy problem. To są zadania dla naukowców, ewentualnie dla ludzi od Chat-GPT.

1
Pyxis napisał(a):

Nie tak do końca. W biznesie to właśnie rozwiązywanie problemów biznesowych z użyciem ML/NNs, które sprowadza się do przygotowania danych i strojenia hiperparametrów, aby przygotować dobry model predykcyjny. W biznesie raczej nie wymyślasz kolejnego optymalizatora spadku gradientu, tylko korzystasz z tego, co ktoś wymyślił i pokazał, że jest dobre. Takie rzeczy to ludzie robią raczej na uczelniach, potem pisząc z tego publikacje. Tak samo nie wymyślasz czegoś tak wielkiego jak rekurencyjna sieć neuronowa, by rozwiązać biznesowy problem. To są zadania dla naukowców, ewentualnie dla ludzi od Chat-GPT.

Mimo wszystko to o czym piszesz wymaga doskonałej wiedzy matematycznej. Z racji mojego stanowiska mam kontakt z różnymi projektami, z czego większość w ostatnich 3 latach to tematy big data i data science i każdy data scientist z którym pracowałem miał doktorat z matematyki. To o co mi chodziło, to to, że znajomość biblioteki do ML to nie data science. Podobnie jak znajomość bootstrapa. Owszem można się go nauczyć i wyrzeźbić jakiś tam layout na podstawie tutka (80% frontent devów*), ale znajomość tego w jaki sposób bootstrap działa pod spodem to już nisza (20% devów*).

*dane z d**y

3

Trochę wykopalisko, ale temat ciekawy i aktualny, więc myślę że warto pociągnąć

markone_dev napisał(a):

Z racji mojego stanowiska mam kontakt z różnymi projektami, z czego większość w ostatnich 3 latach to tematy big data i data science i każdy data scientist z którym pracowałem miał doktorat z matematyki. To o co mi chodziło, to to, że znajomość biblioteki do ML to nie data science. Podobnie jak znajomość bootstrapa. Owszem można się go nauczyć i wyrzeźbić jakiś tam layout na podstawie tutka (80% frontent devów*), ale znajomość tego w jaki sposób bootstrap działa pod spodem to już nisza (20% devów*).

*dane z d**y

Projekty, o których piszesz, były związane z jakąś konkretną domeną biznesową? Bo jeśli twierdzisz, że ,,każdy data scientist z którym pracowałeś miał doktorat z matematyki" to albo mowa o jakiejś specyficznej, wąskiej niszy, gdzie faktycznie wymagane są umiejętności w obszarze niskopoziomowej implementacji konkretnych algorytmów w oparciu o najnowsze publikacje, albo koloryzujesz.

Pracuję jako data scientist od ponad 4 lat (wcześniej, jeszcze w trakcie studiów i zaraz po nich były to stanowiska typu data analyst / analityk, więc podobny obszar) i spośród kilkudziesięciu DS-ów których poznałem doktorat miały może trzy osoby (akurat nie z matmy a bodajże biotechnologii i fizyki), do tego dwie były w trakcie studiów doktoranckich. Jeśli chodzi o osoby z tytułem to jedna z nich była moim bezpośrednim przełożonym w dużym korpo spod znaku big pharmy i po jakimś czasie wróciła na rodzimy uniwersytet prowadzić tam projekty. Drugi miał zerowe soft skille, nie dało się z nim dogadać ani w tematach biznesowych ani około-DSowych (stawiałbym na coś z gatunku autyzmu, ale się nie znam więc strzelam) i finalnie dostał wypowiedzenie, nie znam jego dalszych losów. Trzeci jest osobą typowo overqualified, łebski gość, ale pewnie dosyć sfrustrowany, bo większość tasków nie przystaje do jego możliwości intelektualnych. Z drugiej strony jeden ze znajomych DS-ów jest ,,skromnym magistrem", a jakiś czas temu został Head of AI w amerykańskim start-upie, przy czym sporo się udziela w sieci, prowadził bloga, publikował artykuły i ewidentnie ma zajawkę. Ciekawostka - znam też jednego czy dwóch DS-ów którzy z różnych względów zatrzymali się na poziomie licencjatu i też dobrze sobie radzą w branży, aczkolwiek przyznaję, że jest to raczej rzadkość. Żeby nie ograniczać się do dowodów anegdotycznych polecam przejrzeć oferty typu ,,Data Scientist" lub ,,Machine Learning Engineer" na Justjoinit czy innym job boardzie pod kątem wymaganego wykształcenia. Oczywiście wyższe jest zwykle wymagane, często magister to minimum, ale jak do tej pory chyba tylko 2-3 razy w życiu widziałem na oczy ogłoszenia z cyklu ,,PhD to must have", z czego jedno było do projektu typowo uniwersyteckiego za bieda-pieniądze. Jeśli o mnie chodzi to promotor mojej pracy magisterskiej zachęcał mnie, żebym został na studiach doktoranckich, proponował asystenturę, ale miałem już w tym czasie dobrze płatną pracę i dzieciaka w drodze, więc ze względów czysto praktycznych odpuściłem. Absolutnie nie żałuję. Może za jakiś czas skuszę się na opcję otwarcia przewodu w trybie zaocznym (jakieś publikacje mam, więc kryteria z tego co kojarzę spełniam) ale raczej dla własnej satysfakcji.

Podsumowując temat wykształcenia - doktorat nie zaszkodzi, ale poza niszowymi lub uniwersyteckimi projektami zwykle nie jest wymagany, magister w zupełności wystarczy. Oczywiście znajomość matmy (algebra liniowa i analiza matematyczna to must have), statystyki, rachunku prawdopodobieństwa i zagadnień z obszaru badań operacyjnych (nie wszędzie, ale często się przydaje) jest konieczna, natomiast chodzi raczej o ogólne zrozumienie tematu i umiejętność samodzielnego poszerzenia wiedzy w razie potrzeby - w większości przypadków raczej nikt nie każe wyliczać całek podwójnych na czas na kartce. Osobiście tylko 2 razy implementowałem jakieś algorytmy od zera, na podstawie publikacji naukowych - w obu przypadkach na potrzeby prac dyplomowych, nie zawodowo (choć z jednego algorytmu zdarzyło mi się później korzystać, dosyć niszowy temat dotyczący analizy szeregów czasowych). Ważna jest też intuicja dotycząca samej analizy danych, czasem znajomość domeny biznesowej i soft skille żeby być w stanie przetłumaczyć język matematyki / statystyki na treść zrozumiałą dla biznesu. Raczej niewiele jest projektów (przynajmniej na polskim rynku) gdzie DS ma kontakt wyłącznie z ludźmi technicznymi, zwykle trzeba komunikować się z managementem, który w najlepszym wypadku kojarzy pojęcia odchylenia standardowego i mediany. Kolega wyżej stwierdził, że ,,Umiejętność użycia tensor flow w projekcie do rozwiązania jakiegoś trywialnego problemu to nie data science" - i tak i nie. Faktycznie w większości przypadków nie wystarczy zaczytać surowych danych z csv-ki, zaimportować klasę danego modelu, wytrenować i gotowe. Trzeba zrozumieć problem, przeprowdzić jakąś wstępną, eksploracyjną analizę, pomyśleć o przypadkach brzegowych, outlierach, etc. Często dyskusje z biznesem trwają dłużej niż napisanie ostatecznego rozwiązania. Jednak finalnie w 95% przypadków (tak na oko) korzysta się z gotowych bibliotek, tak jak wspomniałem implementacja algorytmów od zera to rzadkość.

Jeśli chodzi o rozwój data science ogółem, to moim zdaniem praca była, jest i nadal będzie, ale temat był swego czasu mocno przehypowany i faktycznie obecnie jest spora konkurencja, a ofert znacznie mniej na stanowiska typowo developerskie. Niestety na polskim rynku projektów spod znaku R&D nie jest dużo, a jeśli nawet uda się dostać przez kontraktornię bezpośrednio do zachodniej firmy, to często są to mniej ambitne zadania niż te delegowane do zespołów amerykańskich / szwajcarskich / brytyjskich. Boom na AI zmienił tyle, że wyroiło się sporo ogłoszeń z wymaganą znajomością LLM-ów, czyli w najlepszym wypadku sprowadza się to zapewne do dotrenowywania modeli w PyTorchu na podstawie danych klienta albo klejenia customowego RAG-a, a w najgorszym do jakiegoś prompt-engineeringu.

Powstaje pytanie - czym można się wyróżnić? Z moich obserwacji wynika, że sporo DS-ów baardzo słabo koduje, a programowanie to nieodłączna część tego zawodu. Dotyczy to przede wszystkim hindusów, ale ogółem często zamiast czystego kodu widuje się jakieś fikołki w Jupyterze, który może i jest fajnym narzędziem do testów, wstępnej analizy i prototypowania, ale zwykle bywa zmorą osób, które muszą te jupyterowe potworki tłumaczyć na produkcyjne rozwiązania. Najgorzej jest chyba wśród R-owców, jako że R sam w sobie jest językiem mało wydajnym, a nieoptymalny kod napisany w nieoptymalnym języku boli podwójnie. Jednocześnie R ma sporą kolekcję niszowych bibliotek znajdujących zastosowania np. w analizie badań klinicznych, więc nadal jest na niego ssanie w pewnych kręgach. Wniosek? Jeśli chcesz zabłysnąć na tle innych kandydatów warto - oprócz wspomnianej już staty, matmy, etc. - poznać dobrze bibliotekę standardową samego pythona, poczytać coś o czystym kodzie, nauczyć się dobrych praktyk, etc. Dodatkowo fajnie jest mieć pojęcie o procesie deployowania modeli (CI/CD, Docker, K8s, środowiska chmurowe, REST API). Inna opcja to pójście w niszowe tematy, typu wspomniane już badania kliniczne i język R (choć tutaj warto mieć wykształcenie kierunkowe), wtedy łatwo załapać się do jakiegoś korpo spod znaku big pharmy.

To tyle, trochę się rozpisałem, chętnie podyskutuję jeśli ktoś ma odmienne spojrzenie na któryś z poruszonych tematów : )

Pozdrawiam

0

Ja ostatnio myślałem czy by w to nie iść i nie zrobić studiów podyplomowych. Ofert pracy jak sprawdzałem jest na to MEGA dużo. U mnie w pracy osoby od Data Science z danych w bazie danych czy exceli robią po prostu wykresy w Microsoft Power BI. W ogłoszeniach też zwykle pojawia się temat Power BI więc nic skomplikowanego a ogłoszeń mega dużo.

0

Czy jest tak "Mega dużo ofert" to bym polemizował, ale i tak nie w tym jest problem, obecnie jest hype na AI to wyssało trochę ludzi i pojawiło się ofert, jednakże większość zgadza się że w AI jest już bańska (co nieznaczny że AI jest bezwartościowe raczej setki pseudo projektów za API do openAI), jak pęknie za 1-3 lata to ludzie będą tam mieli powtórkę z obecnego kryzysu IT, z tym że do tego czasu rynek programowania powinien się unormować (albo taką mam nadzieje) co więcej bootcampy i media zrobiły taką reklamę DS/BI/DA, że grupki juniorów są zawalone "od zawsze chciałem być DS" po studiach będziesz jednym z nich

0

Tak, też zauważyłem, że często w tych ogłoszeniach piszą też o AI w przypadku DataScience - widać, że ssanie jest ogromne. Natomiast co do tego czy pęknie bańka za jakiś czas, tu bym miał wątpliwości. Wydaje mi się, że nie, bo AI właśnie w tej branży będzie mega przydatne i często wykorzystywane do przewidywania czegoś z posiadanych danych. Moim zdaniem to właśnie Data Sciencie to jest właśnie ta część IT gdzie jest dobra przyszłość.

1
wiewiorek napisał(a):

Ja ostatnio myślałem czy by w to nie iść i nie zrobić studiów podyplomowych. Ofert pracy jak sprawdzałem jest na to MEGA dużo. U mnie w pracy osoby od Data Science z danych w bazie danych czy exceli robią po prostu wykresy w Microsoft Power BI. W ogłoszeniach też zwykle pojawia się temat Power BI więc nic skomplikowanego a ogłoszeń mega dużo.

Tutaj dotykasz istotnego problemu, czyli tego, jak firmy definiują stanowisko data scientista. Niestety swego czasu był to dosyć nośny buzzword (pamiętam artykuły prasowe z hasłami typu ,,najseksowniejszy zawód świata" xD), więc zaczęto określać jako ,,data scientista" niemal każdego, kto ma jakąkolwiek styczność z danymi. Według mnie to spory błąd i często prowadzi do frustracji, zarówno po stronie pracownika, który liczył na ambitniejsze zadania związane z wdrażaniem modeli, a kończy z Excelem, jak i po stronie pracodawcy, który po kilku miesiącach musi ponownie zaczynać proces rekrutacyjny. Można by tego uniknąć będąc szczerym wobec kandydatów w trakcie rozmowy kwalifikacyjnej, ale z doświadczenia wiem, że z tym różnie bywa. Jak dla mnie gość od Excela i PowerBI-a to raczej ,,BI Developer", ,,Analityk Danych", ewentualnie ,,Data Engineer" jeśli ma większą styczność z różnymi bazami i procesami ETL (zwykle trzeba dane jakoś zagregować i obrobić, żeby pokazać je na wykresach).

Z AI jest ten problem, że osoby nietechniczne i management średniego szczebla zachłysnęli się ChatemGPT i innymi LLM-ami i próbują wciskać je na siłę tam, gdzie kompletnie nie mają one zastosowania albo gdzie standardowe, znane już wcześniej modele poradzą sobie znacznie lepiej. Jeśli chcesz wygrać w grę GO z arcymistrzem to bierzesz model w rodzaju AlphaGO, czyli typowy reinforcement learning, a nie podpinasz się pod API ChatuGPT, a niestety mam wrażenie, że obecnie ze względu na hype znaczna część pseudo-DSów postawiłaby na tę drugą opcję. Sytuacja już chyba trochę się poprawia, część firm sparzyła się takim podejściem, więc zakładam, że w perspektywie roku-dwóch zmaleje liczba ofert związanych typowo z wdrażaniem LLM-ów, ale nadal będzie zapotrzebowanie na ,,twardy" machine learning i DS, bo istnieje masa problemów, których LLM-y nie rozwiązują out of the box.

0

Znów Adam Kamizelich z Maciejem Sobczakem reklamują swój kurs za 2500 złotych który ma trwać 3-4 miesiące. Po nim, i wykonaniu kilku projektów w ramach niego, rzekomo można dostać pracę jako Junior Data Scientist/Analityk danych i pokrewne..
Linkuję jeśli ktoś jest ciekawy https://grupa.gotoit.pl/ai-data-scientist

1

Ten post zaczyna wyglądać jak reklama kursu, zaczęło się od mocno naciąganego stwierdzenia jak wiele jest ofert w data/BI tymczasem według nfj "To był oczywiście średni odsetek, więc są obszary, gdzie jest on wyższy i niższy. Zaczynając od najwyższego, najwięcej ofert dla początkujących w branży IT, dostępnych jest przy specjalizacji Backend - 15,3%, Support – 13,3% ogłoszeń, a dalej mamy Fullstack - 10,3%, Testing - 8,2% oraz Data & BI - 6,4%. "

A kończymy na linkach do kursu, co za zbieg okoliczności

0
CzolemLachii napisał(a):

Znów Adam Kamizelich z Maciejem Sobczakem reklamują swój kurs za 2500 złotych który ma trwać 3-4 miesiące. Po nim, i wykonaniu kilku projektów w ramach niego, rzekomo można dostać pracę jako Junior Data Scientist/Analityk danych i pokrewne..
Linkuję jeśli ktoś jest ciekawy https://grupa.gotoit.pl/ai-data-scientist

Jestem w stanie uwierzyć, że w 3-4 miesiące osoba mająca już jako-taki background statystyczny ogarnie Excela, jakiegoś Power BI-a / Tableau i podstawy programowania (SQL + Python/R) na tyle, żeby załapać się na staż jako analityk danych i rysować fajne wykresy Grażynkom z działu sprzedaży. Scenariusz ,,od zera do pełnoprawnego Data Scientista w 120 dni" to science fiction, przy którym Star Warsy wyglądają na wiarygodną, realną opowieść, która rzeczywiście miała miejsce w odległej galaktyce.

0

Biorąc pod uwagę że mamy tu zwykła reklamę bootcampu marnej jakości, to warto zakomunikować ze skończenie takich szkoleń w dzisiejszych czasach, nie tyle nie da wam pracy w IT a może nawet utrudnić dostanie pracy na kasie w biedronce, bo świadczy o dużym deficycie intelektualnym

I nie, nie będziecie analitykami po 4 miesiącach, Jedyne kim będziecie to frajerami z ubytkiem finansowym

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.