Taka sprawa. Pomysł był żeby za pomocą HttpWebRequesta spróbować zescrapować z wymagającej logowania strony pewne informacje. Zabrałem się do tego następująco:
- Fiddlerem sprawdziłem co strona wysyła do serwera podczas logowania.
- Stworzyłem we własnym projekcie analogiczny request, który po wysłaniu zwracał cookie służący jako potwierdzenie zalogowania.
- Wstawiłem otrzymany cookie w Header dla kolejnych Requestów i próbowałem dobrać się do otrzymanego Htmla.
I tu pojawia się problem. Serwer co prawda odpowiada Htmlem, który mnie interesuje, ale mimo, że Request typu GET który wysyłam, wydaje się identyczny jak ten słany przez stronę, jako odpowiedź serwera, zamiast odpowiedzi "200 OK", zawsze dostaję "302 FOUND", po czym serwer "przekierowuje" mnie na stronę do logowania.
Trochę "na czuja" aby móc dostać się do wysyłanego w pierwszej odpowiedzi htmlu obszedłem ten problem ustawiając właściwość HttpWebRequestu AllowAutoRedirect na false i blokując przekierowanie. Więc w zasadzie wszystko działa tyle, że wciąż przy każdym zapytaniu dostaję "302 FOUND", a nie chciałbym, żeby z powodu zbyt dużej liczby takich zapytań właściciel strony zablokował mi konto.
Czy ktoś ma jakieś pomysły o co tu chodzi?