analityk danych praca

Witam. Czy praca jako analityk danych z znajomością zaawansowanej matematyki jest ciekawa i czy będzie potrzebna w przyszłości? Chcę coś robić związanego z matematyką.

Jest ciekawa, ale czy będzie potrzebna w przyszłości? Raczej tak, ale kto to wie...

lion137 napisał(a):

Jest ciekawa, ale czy będzie potrzebna w przyszłości? Raczej tak, ale kto to wie...

A za co można być odpowiedzialnym w takiej pracy?

Bycie dobrym z matematyki w świecie IT jest bardzo dobrą opcją. To raczej topka ludzi, którzy nie są zagrożeni zwolnieniami i mają dobre stawki. Przy czym bycie analitykiem danych z zaawansowaną matematyką szybko doprowadzi Cię do roli data scientista. Generalnie różnica jest dość prosta, analityk danych mieli dane historyczne, a naukowiec danych wyciąga z nich predykcje na przyszłość. To tak bardzo ogólnie.

Mat1997 napisał(a):

A za co można być odpowiedzialnym w takiej pracy?

W ogólności zbierasz dane rozproszone w wielu miejscach. Są to zazwyczaj relacyjne bazy danych, pliki Excel, czasem PDF-y. W teorii powinien to dowieść data engineer, ale nie zawsze tak jest (albo takiego nie ma, albo data engineer ma projekty z wyższym priorytetem). Tak więc sam wyciągasz te informacje. Następnie trzeba jakoś te dane wyczyścić, znormalizować, agregować, itp. Finalnie, gdy je obrobisz to tworzysz dashboard. Dashboard to taka kolorowa tablica z wykresami, tabelkami, jakimiś wskaźnikami i metrykami, które powinny pokazywać, że "tak tak, wszystko jest super w projekcie panie menadżer". Zwykle te dane zbierane są na bieżąco, więc ostatecznie taki raport powinien się aktualizować sam, a to co jest Twoją robotą, to sklejenie do kupy pipeline'u, który będzie taki dashboard aktualizował okresowo/wywoływany jakimś zdarzeniem.

Data Science to już zupełnie coś innego. Czasem wystarczy na ślepo wrzucić dane do kilku modeli uczenia maszynowego i sprawdzić metryki, które pokażą dokładność modeli. Ale takie proste podejście działa bardzo rzadko. Cała zabawa zaczyna się, gdy musisz sam znaleźć wzorce w danych, a przynajmniej wskazać, co warto wziąć pod uwagę. Podam taki bardzo prosty przykład (nie wymaga nie wiadomo jak trudnej matematyki). Weźmy rozpoznawanie odręcznie napisanych cyfr, które należy sklasyfikować. Może się okazać, że wyuczone klasyfikatory mylą często jedynkę z siódemką i odwrotnie. Masz jednak pewną wiedzę domenową, sam wielokrotnie pisałeś te cyfry. Możesz więc wskazać dodatkową cechę w tych obrazach. Otóż główna kreska tworząca jedynkę jest bardziej wertykalna niż główna kreska siódemki, która jest pochylona. Można tu policzyć jakąś średnią wartość tego nachylenia i sprawdzić, czy warto to brać pod uwagę. Dzięki temu ulepszasz model. Często wymaga to sprytu, dociekliwości i wiedzy domenowej. Oczywiście to jest czubek góry lodowej. Dużo trudniejszym zagadnieniem może być usprawnienie architektury w sieciach neuronowych, przy okazji można napisać jakąś publikację naukową.

P.S. żeby nie było, takich nisz jest więcej, np. (oceniam po tym, co usłyszałem w wywiadzie).

A umiesz w ogóle analizować dane?

Umiesz chicken and eggs problem rozwiązać expectation maximization?
To są podstawowe problemy np. masz kilka eventów które występują z różnym prawdopodobieństwem wymieszane i umieć oszacować każdy z nich, rozwiązując chicken and eggs problem.

Dla mnie z matmy najwyborniejszy dział był programowanie probabilistyczne, markov chain, absorbing, MCMC metropolishastings.

W sumie to znałem i rozwiązałem prawie wszystkie problemy matematyczne, a nigdy nawet nie pracowałem tam gdzie chciałem.
Ważniejsze jest robić coś co daje dużo pieniędzy, niż z litości robić to co się kocha i może nawet ludzie cię nie zatrudnią bo będzie ci brakować np. studiów itp.

Znasz np. różnicę między probability a likelihood? P(x | w) i P(w | x)?

ChłopPrzyszłyRycerz napisał(a):

A umiesz w ogóle analizować dane?

Umiesz chicken and eggs problem rozwiązać expectation maximization?
To są podstawowe problemy np. masz kilka eventów które występują z różnym prawdopodobieństwem wymieszane i umieć oszacować każdy z nich, rozwiązując chicken and eggs problem.

Dla mnie z matmy najwyborniejszy dział był programowanie probabilistyczne, markov chain, absorbing, MCMC metropolishastings.

W sumie to znałem i rozwiązałem prawie wszystkie problemy matematyczne, a nigdy nawet nie pracowałem tam gdzie chciałem.
Ważniejsze jest robić coś co daje dużo pieniędzy, niż z litości robić to co się kocha i może nawet ludzie cię nie zatrudnią bo będzie ci brakować np. studiów itp.

Znasz np. różnicę między probability a likelihood? P(x | w) i P(w | x)?

Na razie się uczę :)

Czy warto robić podyplomówkę z Big Data, Data Science lub poodobnych jako start do IT? Obawaim się że na kursach nie dam rady wysiedzieć, nie mój styl.
Które z podyplmówke w Warszawie lub w okolicy lub online polecacie?

Czy warto robić podyplomówkę z Big Data, Data Science lub poodobnych jako start do IT?

Takie studia to raczej dla osób, które już pracują w IT i chciałyby usystematyzować wiedzę i spotkać się z innymi osobami z branży, często bardziej doświadczonymi.
Jako start do IT to zupełnie nie warto. Zwłaszcza, że rok i dwa lata temu opłaty poszły bardzo mocno do góry. Przykładowo opłata za semestr magisterki na PW wzrosła z 2400 do 5200 PLNów. Uczelnie wyczuły, że boom jest/był duży i dalej są chętni, pomimo podnoszenia stawek. Zapłacisz, napocisz się, a pracy pewnie i tak nie znajdziesz, więc jak chcesz się zapisać, to z myślą, że wydatek w ogóle się nie zwróci.

Bartłomiej Górski napisał(a):

Czy warto robić podyplomówkę z Big Data, Data Science lub poodobnych jako start do IT? Obawaim się że na kursach nie dam rady wysiedzieć, nie mój styl.
Które z podyplmówke w Warszawie lub w okolicy lub online polecacie?

Jak już to na jakichś zagranicznych uczelniach, ale i tak imo nie warto dla tytułu. Jak chcesz wiedze to są kursy od uczelni dostępne online, np z Cambridge. Możesz nawet wykupić certyfikat i wkleić na Linkedina. Niektórzy tak robią.

Moim zdaniem warto tylko online. Nie wyobrażam sobie już zapieprzać specjalnie na zajęcia mająć normalną pracę xD. Pare lat temu ok, ale teraz szkoda mi czasu.