Przetwarzanie i analiza danych - pytanie odnośnie rozpoczęcia projektu.

Cześć!

Zastanawiam się nad tematem projektu z przedmiotu "Przetwarzanie i analiza danych", cały projekt będzie wykonany w oparciu o język Python. Wykładowca doradził mi abym skupił się na analizie zapotrzebowania klientów stron internetowych, i na podstawie tych danych wykonać profil użytkownika na podstawie której będę mógł mu proponować treści. Temat jest bardzo ciekawy, aczkolwiek nurtują mnie dwie sprawy:

• Jaką branżą waszym zdaniem się zainteresować? Aktualnie są już dwa projekty w oparciu o analizę cen mieszkań i analizę sytuacji na giełdzie, i tak właśnie się zastanawiam, jaka branża pozwoliła by mi na wykonanie ciekawej analizy? Głównie czym się ostatnio interesowałem to sprzęt elektroniczny (sprzedaż, składanie komputerów, wydajność itp.) aczkolwiek nie chce wejść w temat który mógłby być zbyt rozległy.

• Skąd mógłbym czerpać dane? Czy są jakieś miejsca w których są udostępniane darmowe paczki plików danych? Czy lepiej samemu zrobić przykładowe dane w jakiś losowy sposób?

Może ktoś z was miał styczność z analizą danych, i mógłby się podzielić doświadczeniem, na co uważać, oraz na co zwracać uwagę w trakcie pisania takiego programu w Pythonie? Każda wskazówka będzie dla mnie mega cenna.

Z góry dziękuję za pomoc.

Osobiscie zaczalbym od punktu drugiego i najpierw poszukal czy sa w ogole dane ze sprawdzonych zrodel pod moj temat. Robienie samemu danych nie ma sensu - nic ciekawego i wartosciowego w ten sposob nie uzyskasz. Jak juz je znajdziesz to musisz je oczyscic i odpowiednio przygotowac. Potem dobierasz odpowiedni model pod dane w zaleznosci na jakie pytanie chcesz odpowiedziec i go kodujesz. Na koncu jakas fajna wizualizacja. Z doswiadczenia moge powiedziec, ze wlasnie dobor odpowiednich danych jest najciezszy i jednczesnie najwazniejszy dla calej analizy.

@MisiekNaLuzie: dziękuję za świetną odpowiedź, zrobiła mi konkretny zarys tego co mnie czeka, i z czym będę musiał się uporać w 2 miesiące, ale pewnie wszystko jest do zrobienia, może nie będzie to tak wielki ogrom pracy jak mi się aktualnie wydaje czytając twoją wypowiedź :D Piszesz że miałeś z tym tematem styczność i doświadczenie, mógłbyś mi przybliżyć temat dobierania modeli pod dane? Podesłać jakąś literaturę bądź linki którymi mógłbym się zaintersować?

Mialem z tym do czynienia na studiach. Wiedza już trochę zakurzona, więc nie chce wprowadzić nieświadomie w błąd. Wykładowca nic nie nakierował? Ja głównie korzystałem z notatek z zajęć i slajdów wykładowcy plus oczywiście net. Ogólnie musisz się zastanowić na jakie pytanie chcesz odpowiedzieć i wybrać typ analizy - https://chartio.com/learn/data-analytics/types-of-data-analysis/ Potem googlujac po nazwie już jakiś model sobie znajdziesz. Dobra strona jeżeli chodzi o takie tematy to kaggle.com - popatrz, a może coś znajdziesz dla siebie albo coś Cię zainspiruje.

@MisiekNaLuzie: aktualnie to głównie czym się zajmujemy na zajeciach to nauka pythona, ale jak to z projektami bywa, czasem trzeba zdobyć wiedzę do przodu, żeby nie wtopić się w coś co okaże się totalną porażką, i będzie trzeba nagle zmieniać temat, i organizować się od początku ;) Dziękuję za linki chętnie się z nimi zaznajomię, bo coś czuję że może być to cięższy orzech do zgryzienia dla mnie, człowieka który żyje głównie aplikacjami webowymi :D