Czy scraping allegro jest możliwy?

Witam, próbowałem kilku sposób, ale zawsze kończy się blokadą. Moim celem jest tylko pobranie innych ofert dla wystawionych przez nas ofert. Dealavo w jakiś sposób to robi i bierze za to grubą kasę. Realnie raz na tydzień potrzebuję wejść na nasze oferty, których jest mniej niż 200 i pobrać z nich ceny i nazwy sprzedawców dla innych ofert. Macie jakieś sugestie jak to zrobić?

Spróbuj przez API
https://developer.allegro.pl/

Używałem jakiegoś narzędzia do analizy ofert, zbierało mnóstwo danych, ale to było dawno temu.

itou123 napisał(a):

Spróbuj przez API
https://developer.allegro.pl/

Używałem jakiegoś narzędzia do analizy ofert, zbierało mnóstwo danych, ale to było dawno temu.

To była moja pierwsza myśl, ale nie widzę w dokumentacji niczego na ten temat. Jest tam możliwe zarządzanie własnymi ofertami, ale nie można się dostać do całego katalogu.

przecież to jest 1 pozycja z poradnika
https://developer.allegro.pl/tutorials/jak-jednym-requestem-wystawic-oferte-powiazana-z-produktem-D7Kj9gw4xFA#jak-pobrac-pelne-dane-o-produkcie

hzmzp napisał(a):

przecież to jest 1 pozycja z poradnika
https://developer.allegro.pl/tutorials/jak-jednym-requestem-wystawic-oferte-powiazana-z-produktem-D7Kj9gw4xFA#jak-pobrac-pelne-dane-o-produkcie

Niestety nie.

W odpowiedzi otrzymasz:
identyfikator produktu
nazwę produktu
kategorię produktu oraz listę kategorii podobnych, w których także możesz wystawić dany produkt
parametry produktu
zdjęcia produktu
opcjonalnie:
opis produktu (jeśli jest do niego załączony)
sekcję ‘Pasuje do'
informację o specyfikacji TecDoc.

Ale api mi nie zwróci w ten sposób listy inncyh ofert tego produktu. Produkt może być sprzedawany przez wielu sprzedawców. Ja potrzebuję mieć nazwy ich kont i ceny.

w produkcie masz compatibilityList, to ci nie zwraca listy podobnych? Co do pobierania nazw może być problem bo allegro stara się zamaskować takie dane i ogólnie utrudnić to co ty chcesz robić z tymi danymi

hzmzp napisał(a):

w produkcie masz compatibilityList, to ci nie zwraca listy podobnych? Co do pobierania nazw może być problem bo allegro stara się zamaskować takie dane i ogólnie utrudnić to co ty chcesz robić z tymi danymi

To jest lista, w której możemy zobaczyć do czego pasuje dany produkt. I tam w przykładzie jest, że pasuje do jakiegoś samochodu.

Sytuacja jest taka, że część produktów przez nas sprzedawanych jest wystawiana przez sprzedawców, którzy realnie mają podróbki. Dlatego chcemy to ukrucić. Przeglądanie tego ręcznie jest czasochłonne, dlatego potrzebuję jakiegoś automatu, a niekoniecznie chce się wiązać z takim Dealavo.

Pierwsze, co przychodzi mi do głowy, to kontakt z Allegro.

Jak będziesz dobrze udawał przeglądarkę i nie naparzał po 100 requestów na sekundę to każdą stronę można zescrapować.
Napisz do supportu allegro czy jest taka funkcja, ewentualnie poproś o taką. Albo zleć komuś robienie tego ręcznie jak ci się nie chce. Ewentualnie skrypt javascriptowy, albo automatyzacja może będzie łatwiejsza. W ostateczności zlecenie komuś robienia tego, 200 ofert po minucie na każdą to jakieś 3h roboty tygodniowo, 100 zł tygodniowo na zlecenie i masz ogarnięte.

lps napisał(a):.

Sytuacja jest taka, że część produktów przez nas sprzedawanych jest wystawiana przez sprzedawców, którzy realnie mają podróbki.

Chyba nie do końca łapię, Twoje produkty wystawia ktoś inny i to są podróbki? Możesz jaśniej, o czym konkretnie mowa? Daj link do produktu.

Z praktyki powiem tak: jeśli chcesz całe allegro to nie za bardzo i nie ma po co. Jeśli chcesz tylko np. najbardziej popularne albo konkretne wyszukiwanie i np. tylko pierwsze X stron to jak najbardziej ale polecam zrobić rate limiter albo zmieniać proxy co jakiś czas Mnie nikt nie zblokował po roku scrappowania w ten sposób codziennie ale starałem się robić requesty podobnej prędkości jakby ktoś to ręcznie robił (po prostu leciał cronjob przez kilka godzin dziennie)

A jaki masz problem? W jaki sposób cie blokują? Jakie errory leca?

Przy dobrym scrapingu nie jest możliwe odróżnienie bota od zwykłego klienta. Strony takie jak allegro muszą utrzymać balans, bo:

• zbyt szybkie uwalenie - niezadowoleni użytkownicy
• zbyt wolne uwalenie/brak - negatywny wpływ na biznes i infrę

Oczywiście dobry scraping to między innymi:

• używanie normalnego internetu używanego przez zwykłych ludzi. Cloudy i VPS odpadają, bo po ASN od razu widać kto się dobija
• rotowanie IP/maszyny
• używanie pełnego silnika przeglądarki z JSem, jeśli stronka tego wymaga
• zachowywanie normalny ruch

Mi się udało ręczenie przeklikać z ~30 stron i dostałem weryfikację odnośne rate limitowania, więc z jednego IPka raczej nie uciągniesz więcej

Regulamin allegro wyraźnie zabrania scrappowania ich stron art 10.10.i