Bot lub crawler do dynamicznego contentu

Bot lub crawler do dynamicznego contentu
Julian_
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 1703
0

Cel podstawowy: pobierać dynamiczną zawartość z witryn, to co nie widać w statytycznym htmlu, jakieś java scripty itp.
Cel dodatkowy: logować się automatycznie na strony

Wszystko, żeby działało pod Javą lub Pythonem.

Szukałem i znalazłem np. takie możliwości:

Co polecacie? Podoba mi się najbardziej Selenium i myślę, że spełnia wymogi. Pytam żebym znów się nie okazało, że wyciągam coś z muzeum. Albo w trakcie po kilku tygodniach się okaże, że to się nie nada.

Leroy
  • Rejestracja: dni
  • Ostatnio: dni
  • Lokalizacja: Wrocław
  • Postów: 107
1

Z tego wszystkiego korzystalem z Selenium. Kilka razy. W kilku projektach. Zawsze to cholerstwo bylo mocno nie stabilne, nie polecam.

Ale jak juz sie zdecydujesz to moze zobacz ta nakladke. Akurat API ma fajne.
https://selenide.org/.

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.