Parsowanie dynamicznie ładowanej strony

Parsowanie dynamicznie ładowanej strony
K1
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 5
0

Cześć.
Próbuję się dostać do linku spod tej czerwonej piłeczki na http://www.nowgoal.com
Chciałem do tego użyć JSoup, ale ten nie radzi sobie z dynamicznymi stronami.
Próbowałem również HtmlUnit ale również nie mogę pobrać całej strony.
Macie jakieś inne propozycje?
Pozdrawiam.

jarekczek
  • Rejestracja: dni
  • Ostatnio: dni
  • Lokalizacja: Siemianowice Śląskie
  • Postów: 500
1

Potem już tylko Phantom, podejście opisałem tutaj.

A jak zareagował HtmlUnit na tą twoją stronę? Czemu nie zadziałało? Może za krótko czekałeś. Spróbuj przycisnąć HtmlUnit, bo z Phantomem jest ciężko i niejavovo.

Julian_
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 1703
0

gdzie masz tę czerwoną piłeczkę?

Co se Jsoup nie radzi, ze wszystki se radzi. Lista linków z Twojej strony:

Kopiuj
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {
	public static void main(String... args) throws IOException {
		String html = "http://www.nowgoal.com/";
		Document d = Jsoup.connect(html).userAgent("Mozilla/5.0").get();

		Elements elemeleludki = d.select("a[href]");
		for (Element e : elemeleludki) {
			System.out.println(e.attr("href"));
		}

	}

}
K1
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 5
0

Problem rozwiązany, dziękuje za pomoc.
A jest możliwość przy pomocy HtmlUnit monitorować zmianę kursów na tej stronie:
http://www.nowgoal.com/OU.htm

Dane są zmieniane bez odświeżania, więc czy można jakoś przechwycić taki komunikat i jakoś obsłużyć?
Pozdrawiam.

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.