Data Crawling - rozmowa kwalifikacyjna

Data Crawling - rozmowa kwalifikacyjna
KR
  • Rejestracja:około 9 lat
  • Ostatnio:prawie 8 lat
  • Postów:5
0

Witam,
ubiegam się o staż bądź posadę juniora jako python developer, pojutrze mam rozmowę kwalifykacyjną w jednej z firm w mailu poinformowali mnie, że będą przygotowane jakieś grupowe taski związane z tzw "data crawling"
Jak myślicie z czego powininem się najbardziej przygotować i co może mnie tam czekać?
Ps. na rozmowę prosili o przyniesienie własnego sprzętu.

Pozdrawiam i z góry dziękuje za odpowiedź.

KR
  • Rejestracja:około 9 lat
  • Ostatnio:prawie 8 lat
  • Postów:5
0

Właśnie jestem, w trakcie przerabiana krótkiego tutoriala z BS4
Wiem też że powinienem nieco zaznajomić się z wyrażeniami regularnymi
Coś jeszcze?
Btw. Miasto to Kraków
Ps.
BS4 służy do "webscrapping" a w mailu pisali o "data crawling" wiem, że pojęcia "crawling" i "scrapping" są dość bliźniacze
jednak wole się upewnić żeby nie wyjść tam na totalnie zielonego.

0

Takim najpopularniejszym Pythonowym scraperem jest scrapy:

https://scrapy.org/

Requests są na niższym poziomie abstrakcji niż scrapy. W scrapy masz automatyczne mechanizmy do samego crawlingu (a więc emitowanie danych i nowych stron do przejechania w trakcie ekstrakcji danych, automatyczne ograniczenia zakresu crawlu, różne interfejsu do data storage itp)

Dago
  • Rejestracja:prawie 8 lat
  • Ostatnio:prawie 8 lat
  • Postów:8
0

O, właśnie po to, by umieć napisać takie rzeczy uczę się Pythona :D

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.