Praca jako ETL developer - hurtownie danych

Ucz się MS Accesa:

https://www.pracuj.pl/praca/analityk-danych-data-processing-krakow,oferta,6221297?sendid=8db2b87b-9294-46b0-aaf3-78741bd1f3be&send_date=2018-07-26&utm_source=ja&utm_medium=email&utm_campaign=prog_ja_top

Osobiście zajmuję się BI / DWH (Oraclowy stack i teraz douczam się Oracle Data Integrator żeby przenosić się bardziej na ETL).

Patrząc na oferty związane z DWH / ETL najwięcej ofert jest dla technologii Microsoftu oraz właśnie Informatica (IPC).
Jeżeli chcesz szukać materiałów, odrzuć Polskie strony. Hurtownie i BI nie jest jeszcze aż tak popularny w Polsce (chociaż jak pracuję myślę, że jest coraz większy angaż na rynku, plus dochodzi 'Big Data' którą się wplata). Najwięcej informacji znajdziesz na różnych blogach, YT, kursy zdarzają się (udemy). Raczej nie ma konferencji w Polsce poświęconych stricte Hurtowniom Danych. Osobne szkolenia na które warto by było się wybrać a nie kosztują majątku również są rzadko i należałoby szukać na stronach firm, które czasami prowadzą webinary/szkolenia/artykuły.

Podstawa do SQL i znajomość baz. Zarówno w dziale samego BI jak i głębiej czyli Hurtownie i ETL znajomośc języka bazodanowego pomaga, często się tego wymaga. Wartość znać język np. PL/SQL czy T/SQL. Odnośnie części merytorycznej dla DWH nie jestem zwolennikiem teorii a praktyki, jednak są pozycję które warto przeczytać - książki Kimballa.

Odnośnie ofert pracy zauważyłem, że jest dużo ale na kontraktach - przeważnie w Warszawie lub dla klientów zagranicznych (outsourcing). Stawki są jak dla mnie wysoki, w porównaniu z programistycznymi również uważam że są wysokie - ale głównie dlatego że to są kontrakty.
Jako, że jest BUM na dane, big date itp tworząc ETL również wykorzystuję się już powoli Hadoop i technologie z nim związane, dlatego warto znać bazy danych, hurtownie ale również zagłębić się jak działa Hadoop itp.

Osobiście ucząc się ODI, nie mając jeszcze możliwości pracy nad komercyjnymi projektami, tworzę swoję. Oracle udostępnia środowiska sample i prostą baze danych. Samodzielnie również możesz wszystko skonfigurować czyli postać sobie prostę baze danych z danymi lub dane wsadowe z Excel i podepnij to z Informaticą i jakieś proste transformację możesz wykonywać.

W zasadzie @choracy69 wyczerpał temat. Najpopularniejsza jest Informatica Power Center, mniej popularny jest np. IBM Data Stage, bardzo niszowe (i są tam najwyższe chyba stawki) jest Ab Initio. Darmowe jest chyba Pentaho (polecam ściągnąć).

Trudno się ETL-a nauczyć w domu samemu, a na pewno nie w 30 dni, uczysz się raczej na projekcie tzn. trudno żebyś w domu postawił klaster z 1 TB danych do przeładowania, sześć baz :-) i instancję Powercenter, to są technologie ściśle korporacyjne.
Moim zdaniem warto uczyć się języka bazodanowego np. Oracle PL/SQL (ale także np. Teradaty), a potem naturalną ścieżką "rozszerzyć się" o jakiegoś ETL-a. Znałem kilku deweloperów Oracle, którzy zmigrowali się po kilku latach pracy do Powercenter.

A spotkaliście się z jakimiś stanowiskami juniorskimi dla kogoś kto zna relacyjne bazy danych i PL/SQL,a pracodawca oferuje naukę narzędzi typu Informatica Powercenter czy raczej wszędzie szukają ludzi, którzy w bazach danych siedzą już długo?

Jak wyglądała wasza ścieżka kariery?

mam_Cie napisał(a):

A spotkaliście się z jakimiś stanowiskami juniorskimi dla kogoś kto zna relacyjne bazy danych i PL/SQL,a pracodawca oferuje naukę narzędzi typu Informatica Powercenter czy raczej wszędzie szukają ludzi, którzy w bazach danych siedzą już długo?

Jak wyglądała wasza ścieżka kariery?

Pozycje juniorskie jako tako raczej są rzadko spotykane. Bardziej można znaleźć juniorskie związane z raportowanie/business intelligence. Ja osobiście tak zaczynałem BI i powoli staram się poszerzać zakres pracy jak i technologie.

Wydaje mi się, że jeżeli znasz bazy danych (Oracle), umiesz SQL, PL/SQL i masz wstępne pojęcie o hurtowniach i procesach ETL to możesz próbować wysłać CV podkreślając, że Informatica znasz podstawy lub się douczysz. Czasami pracodawcy / klienci oferują douczenia się technologii (miesiąc wdrożenia) lub podpytać rekruterów / headhunterów na jakie pozycje szukają i czy jest możliwość douczenia.

Podepnę się do tematu. Czy w pracy jako ETL Developer, programista hurtownii jak zwał tak zwał zdarza się wam wykorzystywać efektywnie jakieś metody eksploracji danych typu reguły asocjacyjne, klasyfikacje, grupowania ? Czy projekty typowo komercyjne to tylko generowanie jakiś raportów w SSRS, Excelu dla zarządzających itp. ? Pytam z ciekawości ponieważ zajmowałem się hurtowniami i metodami eksploracji danych hobbystycznie, raz w swojej karierze miałem do czynienia z komercyjnym produktem, ale to raczej był słaby projekt (może nie słaby pod względem złożoności problemu, ale jego wykonania).

mariano901229 napisał(a):

Podepnę się do tematu. Czy w pracy jako ETL Developer, programista hurtownii jak zwał tak zwał zdarza się wam wykorzystywać efektywnie jakieś metody eksploracji danych typu reguły asocjacyjne, klasyfikacje, grupowania ? Czy projekty typowo komercyjne to tylko generowanie jakiś raportów w SSRS, Excelu dla zarządzających itp. ? Pytam z ciekawości ponieważ zajmowałem się hurtowniami i metodami eksploracji danych hobbystycznie, raz w swojej karierze miałem do czynienia z komercyjnym produktem, ale to raczej był słaby projekt (może nie słaby pod względem złożoności problemu, ale jego wykonania).

Należy tutaj rozdzielić dwie sprawy: ETL Develoepr w 90% nie zajmuje się generowanie raportów. ETL Developer zajmuję się przede wszystkim pozyskiwaniem danych - dane z różnych systemów integruje i tworzy odpowiednie wymiary/fakty na hurtowni - tak można to ewentualnie opisać. Czy wykorzystują jakieś konkretne metody eksploracji danych to do końca nie znam odpowiedzi - wydaje mi się, że tak. Natomiast samym raportowaniem/wizualizacją oraz tworzenie już struktury w hurtowni zajmują się bardziej BI Developerzy. Oczywiście te dwie pozycję mogą się pokrywać w zależności od firmy lub są pozycję BI/DWH Developer na przykład - ja taką mam na drugim kontrakcie gdzie dostanę obszar jaki mam zrobić i robię wszystko od procesów ETL po wizualizację w BI.

Same projekty do nie tylko dla 'zarządzających'. W mojej krótkie karierze oczywiście zdarzyły się kokpity menadżerskiej dla dyrektorów, ale również wszelakie zestawienia statystyczne, wykonywania paczek/procedur/programów współbieżnych po zestawienia z działów czy produkcji ale również technologie Write Back gdzie odpowiednie osoby mogły edytować dane, sprawy administracji i dostepów (można było na kokpicie nadawać uprawnienia), generowanie mapek w BI itp. Często analizy w BI pomagały np. developerom czy analitykom podglądać swoją pracę/godziny/zestawienia.
Jednak warto zaznaczyć, że zwykli użytkownicy rzadko mają możliwość korzystania z BI - raczej są to jacyś liderzy, brygadziści, szefowie, dyrektorowie.