Requests na Allegro powoduje błąd

0

Próbował ktoś scrapowac stronę allegro za pomocą requests ?
U mnie wywala błąd i nie wiem czemu ☹️

3

Ja bym zaczął od https://developer.allegro.pl/rules/
Generalnie większość takich serwisów blokuje wszelkie próby scrapowania bo obciąża to ich serwery bez żadnej korzyści

1

A wysyłasz wszystkie potrzebne dane takie jak w przypadku zwyczajnej wizyty w przeglądarce?

Poza tym requests to zwykły http klient, powinieneś użyć np. Selenium lub czegoś podobnego, co pozwoli stukać do stronki przez przeglądarkę w trybie headless lub przez wirtualny (i niewidoczny) desktop.

0

Ok, spróbuje użyć Selenium, pytanie które ? Bo jest tego mnóstwo :(
Przy requests wyrzuca mi błąd 403.

0

Zobacz jaki request wysyła przeglądarka i wyślij dokładnie taki sam — takie same nagłówki itp. Ale jak zaczniesz wysyłać 100 re/s to pewnie będą cię banować. Musisz udawać użytkownika.
A najlepiej to zwyczajnie użyj oficjalnego API (i przestrzegaj limitów)

0

Po prostu podmień user agenta. W sensie przedstawiają się jako przeglądarka.

1 użytkowników online, w tym zalogowanych: 0, gości: 1