Prosta sprawa: chcę pobrać kod jakiejś tam strony. Używam URL, URLConnection:
public String pobierzHTML(URL url) throws Exception {
BufferedReader pobierz = new BufferedReader(new InputStreamReader(url.openStream()));
String temp;
String s = "";
while ((temp = pobierz.readLine()) != null) {
s += (temp + "\n");
}
pobierz.close();
return s;
}
Metoda dla większości stron działa dobrze, niestety nie na wszystkie. Są przypadki w których dostaję mniej więcej takie niemiłe coś:
We are sorry, but you will need to enable cookies and Javascript to use this site.
Na wszelki wypadek przetłumaczę...
Bardzo przepraszamy, ale musisz włączyć obsługę ciasteczek oraz JavaScriptu by móc używać tej strony.
No i tu się pojawia moje pytanie. Jak to zrobić? Jak zasymulować, że włączyło się obsługę cookiesów i JS?