Big Data, uczenie maszynowe i takie tam.....

Big Data i tym podobne klimaty to w Polsce wciąż bardzo świeża odnoga praktycznego zastosowania informatyki.

Czy warto przebranżowić się na tą działkę? Z wykształcenia jestem fizykiem po Politechnice Warszawskiej, choć jak 99,999% absolwentów tego kierunku nie pracuję w zawodzie fizyka ( jeżeli w ogóle jest taki zawód w Polsce jak fizyk :) ).

Sprawdziłem, że studia podyplomowe z obszaru Big Data to minimum 10 000zł. Najlepiej było by zrobić takie studia na 2-3 uczelniach żeby ogarnąć całościowo temat. Jedne uczelnie stawiają na analizę danych z pakietem R, inne na Pythona.
Poziom też jest różny. Na jednej uczelni zajęcia prowadzą mgr.inż, a na innych dr.inż.
Jak mam płacić 10 000zł to wolałbym, żeby magister mnie nie uczył.
Robią się poważne pieniądze za takie kursy.
Przypomina mi to jak kiedyś były modne kursy NLP, a ceny za 2-3 "szkolenia" były wprost kosmiczne.
Widzę tutaj podobieństwo.

Nie interesuje mnie kompletnie bycie programistom, klepaczek kodu. Z powodów charakterologicznych powiedzmy.
Po drugie podobno konkurencja jest w klepaniu ogromna. A ja już jestem w takim wieku że bycie Junior ...coś tam... może być powodem do uśmiechu dla "asystentki" czy "asystenta " szefa firmy.

Natomiast jestem na tym etapie życia że stać mnie na jeszcze jedną dużą radykalną zmianę zawodową w życiu. Big Data wydaje się być ciekawym i dobrze rokującym kierunkiem. Interesują mnie praktyczne życiowe, rynkowe aplikacje z wiązane z tą dziedziną.
Nie ukrywam, że ważne są w tym zarobki w perspektywie 3-4 lat.
Nie widzę powodu żeby wstydzić się mówić, że człowiek pracuje dla pieniędzy, dobrych pieniędzy.
Potencjał w tym jest duży. Mam tego biznesowego nosa i czuję zapach pieniędzy w tej branży.

Teraz rodzi się pytanie czy ta branża w Polsce rozwinie się poza nisze takie jak banki, Ministerstwo Finansów, Urząd Skarbowy czy sieci handlowe? Oczywiste jest, że takie instytucje mają własne zespoły albo wynajmują, choćby z powodów bezpieczeństwa, największe firmy informatyczne na rynku. To w efekcie prowadzi do "zabetonowania" rynku.
Coś podobne jak ze środowiskiem notariuszy, adwokatów czy architektów gdzie zawód jest właściwie dziedziczony i nikt obcy tam nie wejdzie żeby nie psuć interesów starym wyjadaczom.

Czy Big Data, uczenie maszynowe ma szansę w Polsce na realny rozwój? W sensie powstawania prywatnych firm i przede wszystkim odpowiedniego zapotrzebowania na takie usługi.

afrikanerhart napisał(a):

Big Data i tym podobne klimaty to w Polsce wciąż bardzo świeża odnoga praktycznego zastosowania informatyki.

Raczej nie koniecznie.

Czy warto przebranżowić się na tą działkę? Z wykształcenia jestem fizykiem po Politechnice Warszawskiej, choć jak 99,999% absolwentów tego kierunku nie pracuję w zawodzie fizyka ( jeżeli w ogóle jest taki zawód w Polsce jak fizyk :) ).

Ale co chcesz robić? Big data to szeroki temat i bardzo mglisty. Możesz zajmować się budowaniem środowisk pod Big data, możesz analizować dane (do tego potrzebna jest wiedza domenowa) i jeszcze pierdyliard innych.

Sprawdziłem, że studia podyplomowe z obszaru Big Data to minimum 10 000zł. Najlepiej było by zrobić takie studia na 2-3 uczelniach żeby ogarnąć całościowo temat. Jedne uczelnie stawiają na analizę danych z pakietem R, inne na Pythona.

Bez sensu robić studia na dwóch 3 uczelniach. Z tego co patrzyłem (sam kiedyś szukałem), to raczej na tych studiach uczą podstaw ogarnianai danych jak SQL i Python, a nie analizy danych i tym podobnych tematów.

Poziom też jest różny. Na jednej uczelni zajęcia prowadzą mgr.inż, a na innych dr.inż.
Jak mam płacić 10 000zł to wolałbym, żeby magister mnie nie uczył.

Doktor to raczej będzie typowy teoretyk, Magister, jest szansa, że będzie miał jakieś doświadczenie w biznesie. Ale oczywiście może być całkiem inaczej. Ale większość tego co jest na tych studiach, to może średnio ogarnięty maturzysta uczyć.

Nie interesuje mnie kompletnie bycie programistom, klepaczek kodu. Z powodów charakterologicznych powiedzmy.
Po drugie podobno konkurencja jest w klepaniu ogromna. A ja już jestem w takim wieku że bycie Junior ...coś tam... może być powodem do uśmiechu dla "asystentki" czy "asystenta " szefa firmy.

Ok. Skoro tak uważasz

Natomiast jestem na tym etapie życia że stać mnie na jeszcze jedną dużą radykalną zmianę zawodową w życiu. Big Data wydaje się być ciekawym i dobrze rokującym kierunkiem. Interesują mnie praktyczne życiowe, rynkowe aplikacje z wiązane z tą dziedziną.
Nie ukrywam, że ważne są w tym zarobki w perspektywie 3-4 lat.

Aktualnie tak naprawdę nie wiadomo co będzie za 3-4 lata więc ciężko mówić coś o perspektywie zarobków.

Nie widzę powodu żeby wstydzić się mówić, że człowiek pracuje dla pieniędzy, dobrych pieniędzy.
Potencjał w tym jest duży. Mam tego biznesowego nosa i czuję zapach pieniędzy w tej branży.

Widziałem kilka projektów z zakresu Big data i ML które miały potencjał i na tym się skończyło. Coś koło 90% projektów w tym obszarze kończy na w koszu.

Teraz rodzi się pytanie czy ta branża w Polsce rozwinie się poza nisze takie jak banki, Ministerstwo Finansów, Urząd Skarbowy czy sieci handlowe? Oczywiste jest, że takie instytucje mają własne zespoły albo wynajmują, choćby z powodów bezpieczeństwa, największe firmy informatyczne na rynku. To w efekcie prowadzi do "zabetonowania" rynku.

Jak na razie tylko duże instytucje stać na własne projekty w tym obszarze, gdyż są one obarczone dużym ryzykiem niepowodzenia, a i w tych obszarach big data i ml dobrze się sprawdza.

Coś podobne jak ze środowiskiem notariuszy, adwokatów czy architektów gdzie zawód jest właściwie dziedziczony i nikt obcy tam nie wejdzie żeby nie psuć interesów starym wyjadaczom.

To już jest totalna brednia.

Czy Big Data, uczenie maszynowe ma szansę w Polsce na realny rozwój? W sensie powstawania prywatnych firm i przede wszystkim odpowiedniego zapotrzebowania na takie usługi.

Są już firmy, które się tym zajmują. Ale temat jest bardzo szeroki i nie do końca wiem, o jakie firmy ci się rozchodzi.

Nie ma co rozgrzebywać tematu, autor niech idzie na te 2-3 uczelnie, niech czerpie wiedzę od betonu akademickiego, których wiedza jest czysto teoretyczna i niech od razu startuje na mida bo przecież w jego wieku i z jego wiedzą bycie juniorem to ujma na honorze.

@afrikanerhart: pierwsze co, to zdecyduj, jaka gałąź Cię interesuje. Z tego, co piszesz przetwarzanie danych nie za bardzo (jeśli zmienisz zdanie, to rzuć okiem na mój kurs na ten temat http://becomedataengineer.com/). Oprócz tego są jeszcze 2 inne, w zasadzie to 3 inne drogi, jak się uprzeć.

Możesz zostać data scientist, czyli pracować nad modelami ML, ale z tego co widziałem, mało osób bawi się w rozpisywanie swoich algorytmów. Bardziej to działa na zasadzie (co jest zrozumiałe zresztą), że masz jakiś tam serwis cloudowy albo algorytmy z jakiejś biblioteki (scikitlearn itd), i piszesz pod to model grając na hyperparametrach, features itd. Jak chcesz mieć szansę na coś więcej niż junior, to ćwicz na kaggle i zrób kilka kursów, może na mida się coś uda w niektórych firmach. Czasami jednak lepiej być "najgłupszym w pokoju", dużo się nauczyć i później poprawiać swoją sytuację. Bo od pierwszych wzorców, sposobów pracy, jakie odkryjesz na początku, będzie dużo zależało (szybkość przyswajania wiedzy później, dzielenie się ją, jakość projektów itd.)

Jeśli nie to, to jest droga data analyst, czyli analityka. Znajomość SQL i wizualizacji danych będzie tutaj potrzebna, a i jak CI się uda, to będziesz walczył na data warehousach typu Redshift, Snowlake i będziesz miał pole do popisu w Big Data. Porób jakieś SQL kata/code wars, dodatkowo poczytaj/pooglądaj o distributed data processing, może pomóc.

Trzeci wybór to coś, co pojawiło się dosyć niedawno z platformami typu MLFlow czy Metaflow, czyli ML engineer, który jest kimś w połowie data engineeringu i data science, z cząstęczką opsu. Chodzi o zarządzanie cyklem ML, deploymenty, trochę architektury i integracji z CI/CD, automatyzację trenowania modeli i takie tam. Jest kilka postów w internecie jeśli Cię to interesuje.

@afrikanerhart: nie mylisz czasem BigData (czyli programowania, ale w oparciu o Hadoopa, Sparka, może jakieś BigQuery czy Athena) z Data Science (czyli modelowanie matematyczne, R)? Bo różnica jak między piciem w szczawnicy i szczaniem w piwnicy.

afrikanerhart napisał(a):

Sprawdziłem, że studia podyplomowe z obszaru Big Data to minimum 10 000zł.

Sylabus jest słaby. Wg mnie warto tylko dla papierka.

Najlepiej było by zrobić takie studia na 2-3 uczelniach żeby ogarnąć całościowo temat. Jedne uczelnie stawiają na analizę danych z pakietem R, inne na Pythona.

xD Przecież to wszystko na jedno kopyto. Nikt cięprogramowania w R/Pythonie tam nie nauczy, tylko liźniesz. Samemu trzeba.

Po drugie podobno konkurencja jest w klepaniu ogromna.

Na analityka danych też jest duża konkurencja.

A ja już jestem w takim wieku że bycie Junior ...coś tam... może być powodem do uśmiechu dla "asystentki" czy "asystenta " szefa firmy.

E tam, ja też jestem stary i jestem juniorkiem.

Natomiast jestem na tym etapie życia że stać mnie na jeszcze jedną dużą radykalną zmianę zawodową w życiu. Big Data wydaje się być ciekawym i dobrze rokującym kierunkiem.

Na jakiej podstawie tak twierdzisz? Padłesś ofiarą marketingu i nowo mody, która pojawiła się w branży analiz statystycznych od ok. 2014 r.? "najseksowniejszy zawód świata", "NAUKOWIEC danych" itp.

Nie widzę powodu żeby wstydzić się mówić, że człowiek pracuje dla pieniędzy, dobrych pieniędzy.
Potencjał w tym jest duży. Mam tego biznesowego nosa i czuję zapach pieniędzy w tej branży.

xD Chyba rzeczywiście padłeś ofiarą marketingu.

Zacznij się uczyć i zobaczysz w trakcie czy Ci się podoba czy nie.

Pracuję na własny rachunek, w kraju i za granicą.
Nie widzę powodu, nie rozumiem tego wstydu i brzydzenia do zarabiania pieniędzy.

Duża różnica między polakami a ludźmi w innych krajach jest w podejściu do wiary w swoje umiejętności.
U nas ludziom wydaje się, że trzeba być jakimś doktorem a najlepiej profesorem żeby robić wiele rzeczy.
W krajach gdzie byłem jest dokładnie odwrotnie. Ludzie nie mają takich oporów.

Ja sprzedaję moją wiedzę. Obecnie w działce całkiem innej niż programowanie i dobrze na tym wychodzę.
Jednak na starość zaczynam myśleć o pracy bardziej analityczno-eksperckiej gdzie też będę sprzedawał moją wiedzę.
Lepiej siedzieć w wygodnym fotelu niż ciągać się po świecie i brudzić ręce przy tych czy innych maszynach.

Dlatego pytałem się o to czy w polskich realiach jest miejsce na powstawanie nowych małych prywatnych firm z szeroko rozumianego świata big data, analizy danych , jak zwał tak zwał. Zastanawiam się czy nie być ewentualnie wspólnikiem w takiej małej firmie.

W studia podyplomowe średnio wierzę ale jakoś wiedzę podstawową trzeba przyswoić. A w dodatku można poczuć klimat środowiska ludzi z tej branży.

afrikanerhart napisał(a):

Poziom też jest różny. Na jednej uczelni zajęcia prowadzą mgr.inż, a na innych dr.inż.
Jak mam płacić 10 000zł to wolałbym, żeby magister mnie nie uczył.

U nas ludziom wydaje się, że trzeba być jakimś doktorem a najlepiej profesorem żeby robić wiele rzeczy.

Może się zdecyduj

Chyba nie zrozumiałeś.

Wyłożę to na przykładzie łopatologicznie.
Parę lat temu kiedy mieszkałem w RPA byłem świadkiem takiej scenki.

Pewna firma z Europy chciała tam rozpowszechnić instalacje LPG do samochodów.
Tłumaczyli, że jak ktoś chce to robić to musi przejść u nich w firmie szkolenia i kursy.
A konwersja samochodu na LPG zajmuje cały dzień.
Podchodzi murzyn, patrzy pod maskę samochodu i stanowczo twierdzi, że on taki montaż instalacji LPG zrobi w 2 godziny :).
Oczywiście człowieczek nigdy gazu na oczy nie widział w samochodzie.

O to mi właśnie chodzi chodzi kiedy piszę o tym że Polacy są zakompleksieni.

Miang napisał(a):

afrikanerhart napisał(a):

Poziom też jest różny. Na jednej uczelni zajęcia prowadzą mgr.inż, a na innych dr.inż.
Jak mam płacić 10 000zł to wolałbym, żeby magister mnie nie uczył.

U nas ludziom wydaje się, że trzeba być jakimś doktorem a najlepiej profesorem żeby robić wiele rzeczy.

Może się zdecyduj

:)

afrikanerhart napisał(a):

Po drugie podobno konkurencja jest w klepaniu ogromna. A ja już jestem w takim wieku że bycie Junior ...coś tam... może być powodem do uśmiechu dla "asystentki" czy "asystenta " szefa firmy.

Możesz być tak samo powodem do uśmiechu dla innych ludzi, np przedsiębiorcy, wg którego jesteś "korposzczurem", a praca w tej branży to często etat w korpo. Nie powinieneś w ten sposób patrzeć. Tak samo, bycia Junior Big Data, czy ML się nie przeskoczy. To, że skończyłeś fizykę i przerobiłeś kurs, czy narobiłeś studiów podyplomowych też o niczym nie świadczy, bo są ludzie, którzy robią to od dawna, a mają już po parę dobrych lat doświadczenia komercyjnego, tam też konkurencja jest, jak wszędzie zresztą. Poza tym, jak w każdej branży trzeba mieć umiejętności które mają wartość dodatnią dla pracodawcy, które jak sami wiemy papierek z uczelni raczej nie weryfikuje. Druga sprawa to tzw. rocket science w Polsce w tej branży ciężko uświadczyć, bo tutaj dolina outsourcingu. Jeżeli faktycznie Ci zależy to ja bym szedł najpierw na staż, aby się załapać w branży i wbijać expa, a nie zaczynać od przysłowiowej d--- strony jakie studia podyplomowe czy magisterskie wybrać.

Jednak na starość zaczynam myśleć o pracy bardziej analityczno-eksperckiej gdzie też będę sprzedawał moją wiedzę.

Znam takich ludzi siedzą po 15-30 lat w temacie i sprzedają swoją wiedzę, a ty chcesz to zrobić po kursie za 10k.

W Poslce są co firmy robią ML jako np. zlecenie z zewnątrz, nie ma ich dużo połowa załogi to doktoraty kiedyś do mnie dzwonili i z tego co opowiadali szukali inżynierów o nietypowym doświadczeniu. Jeśli idzie o sprzedaż samemu np. aplikacji opartych o ML to jest bardzo ciężko firmy wolą kupić 5-10 razy droższy produkt komercyjny z którego użyją 10% ale łatwiej to dyrektorom uzasadnić niż Polski wyrób w pythonie + PLC.

afrikanerhart napisał(a):

Nie interesuje mnie kompletnie bycie programistom, klepaczek kodu. Z powodów charakterologicznych powiedzmy.
Po drugie podobno konkurencja jest w klepaniu ogromna. A ja już jestem w takim wieku że bycie Junior ...coś tam... może być powodem do uśmiechu dla "asystentki" czy "asystenta " szefa firmy.

ale wlasnie takim juniorem od Big Data/ML zostaniesz jesli w ogole sie dostaniesz

Bardziej interesuje mnie zostanie wspólnikiem/udziałowcem w małej startującej firemce w tej branży.
Dlatego pytałem się o pojemność i możliwość rozwoju tej branży w Polsce.
Jak maja być tylko gracze tacy jak np. Comarch czy Asseco którzy zgarną 105% rynku ( 5% na łapówki i "prezenty" ) to ja dziękuję. Nie chce tam być niewolnikiem wyrobnikiem Junior ...coś tam...

Bardziej interesuje mnie zostanie wspólnikiem/udziałowcem w małej startującej firemce w tej branży.

Z tymi nieudacznikami Polakami jak sam napisałeś? Inaczej:

• Jakie masz znajomości?
• Co wnosisz do firmy, know how? Pieniądze? Znajomości ?

Bo ci wspólnicy czy udziałowcy to coś wnoszą do firmy.

Osobiście czuję że to jakaś zarzutka cały ten temat.

Jaka zarzutka?

Ja po protu patrzę na wykorzystanie big data od trochę innej strony niż większość z was.
Mnie interesuje temat od strony praktycznych zastosować i możliwości biznesowych w dzisiejszych polskich realiach.

Nie jest moim celem odprawianie modłów i filozofowanie nad tym, że jeden algorytm wykona się 10ms szybciej od drugiego.

Ja po protu patrzę na wykorzystanie big data od trochę innej strony niż większość z was.

Na razie to dowiedzieliśmy się że:

• Masz dr. z fizyki, więc z algorytmami czy ogólnie statystyką sobie poradzisz
• Polacy to zakompleksiony naród, masz doktora.
• Chcesz wchodzić w startupy/firmę nie za bardzo chyba mając co wnieść do spółki.

Podsumowując, to co napisałem we wcześniejszych postach jest ciężko, firmy często wolą produkt komercyjny(zwłaszcza większe firmy/korporacje mające hajs). Koszenie łatwego hajsu na starupach już się skończyło w USA ale generalnie na zachodzie wydaje się być łatwiej.

Ja po protu patrzę na wykorzystanie big data od trochę innej strony niż większość z was.

ano widzisz nie znasz mnie. Osobiście próbuję się przebić w przemyśle z swoimi produktami opartymi o opencv/machine learning, tylko że ja nie mam doktoratu a doświadczenie w budowie systemów przemysłowych, małe znajomości i co nieco wiedzy na te tematy. I jest ciężko, np. przegrałem ofertowanie z jedną firmą gdzie użyto znanego komercyjnego softu za bardzo gruby hajs. I z tego co wiem system nie działa, ja w swoje ofercie zaznaczyłem że jeden pkt. wymagań zamawiającego to pobożne życzenia. A inni bez wiedzy woleli iść jak jeździec bez głowy bo soft komercyjny musi działać(pewnie skończy się karami umownymi).

Do tego koronawirus. Położył rynek takich zamówień na łopatki na dziś dzień.

Podsumowując część z nas jak to ująłeś to ma nawet większy ogląd na sprawę jak ty. Dlatego chłopaki ci piszą a ja zadałem pytania i zadam jeszcze raz:

• Jakie masz znajomości?
• Co wnosisz do firmy, know how? Pieniądze? Znajomości ?

Bez hajsu albo wiedzy to nie masz nawet co na rynku szukać bo kto wejdzie z tobą w spółkę? Zawsze oczywiście możesz dłubać sam w domu, nie jeden produkt tak się przyjął.

Fajnie że jest na forum ktoś kto rozumie i widzi granicę jaka oddziela ciepły akademicki czy forumowy "kurwidołek" do realnego świata biznesu.
Jest tak jak piszesz i ja też o tym wcześniej wspomniałem. Istnieją wielkie firmy, które rok przed publikacją ogłozenia wiedzą o tym jakie będą przetargi i jaka będzie ich specyfikacja.
Witamy w realnym świecie, w realnym biznesie. To nie tyczy się tylko Polski, tak jest na całym świecie.
Ja w tym momencie patrzę, zastanawiam się czy na omawianym rynku można zaistnieć. Samo stworzenie ciekawego produktu to nie to samo co jego sprzedanie. Istnieje uniwersalna zasada , jak robisz biznes to rób też pieniądze.
Dla mnie to jest wejście w całkiem nowy świat i napisałem to od razu w pierwszym poście. Dlatego zadałem pytanie o możliwości zaistnienia dla małych firm. W takim biznesie mógłbym być wspólnikiem wkładając jakąś kasę. Na pewno nie miliony :).

Nie mówmy o startup-ach bo to określenie jest już całkowicie skompromitowane i kompletnie nic dzisiaj nie znaczy.