Inżynieria scrapowania czegoś co nie ma początku ani końca

Skrapowanie jakieś strony internetowej - easy peasy. Jest strona główna która która linkuje do innych, i tak w głąb. Gdzieś jest początek, gdzieś koniec.

Próbuję sobie przemyśleć jednak jak się skrapuje np. jakiś marketplace. Przykładowo https://play.google.com/store/. Wchodzisz i nie ma tam listy produktów (tu: będą to apki) od najlepszej do najgorszej. Nie wiadomo też kiedy się zatrzymać.

Macie jakieś rozkminy na ten temat.

Chodzi mi po głowie coś na zasadzie ziarna - od jakiego produktu zacząć scrapowanie żeby dojść do sensownego miejsca.

I teraz ten SSL nie przeszkadza?

Zaciekawiłeś mnie, bo faktycznie, nie ma listy. Tak jakby jedynym punktem wejścia była wyszukiwarka? Ciekawe czemu taki design, może Google więcej hajsu ma z tych aplikacji promowanych na stronie, a do reszty trzeba się "doszukać"?

1. szukałabym indeksu zbiorczego
2. czy aplikacje są jakoś między sobą linkowane?
3. sprawdziłbym jakie żądania są wysyłane przy przewijaniu list I tam szukał zaczepienia
4. czy aplikacje mają swój indeks, liczbę porządkowa? Może brute force?

marian pazdzioch napisał(a)

Próbuję sobie przemyśleć jednak jak się skrapuje np. jakiś marketplace. Przykładowo https://play.google.com/store/. Wchodzisz i nie ma tam listy produktów (tu: będą to apki) od najlepszej do najgorszej. Nie wiadomo też kiedy się zatrzymać.

Po prostu znajdź te aplikacje w jakiejś sekwencyjnej postaci, np. posortowane po ich dacie dodania.

Z tego co widzę to niemal wszystko jest szyfrowane. Ja bym do tego podszedł na początek tak że zbierał dane z list "Podobne gry" i "Więcej od" i chodził po nich zbierając details?id=
Nie wiem na ile by to było skuteczne ale jakiś zbiór by był.

Można by też po prostu zapytać jak to robi np. https://apkpure.com/pl/tools może udałoby się dowiedzieć.

kelog napisał(a):

Zaciekawiłeś mnie, bo faktycznie, nie ma listy. Tak jakby jedynym punktem wejścia była wyszukiwarka? Ciekawe czemu taki design, może Google więcej hajsu ma z tych aplikacji promowanych na stronie, a do reszty trzeba się "doszukać"?

W aplikacji na telefon jest lista, ale najpierw trzeba wybrac kategorie

marian pazdzioch napisał(a):

Chodzi mi po głowie coś na zasadzie ziarna - od jakiego produktu zacząć scrapowanie żeby dojść do sensownego miejsca.

Idąc analogiami - w dieslach uzyskuje się najlepszą ekonomię spalania paliwa opierając się o samozapłon. W benzyniakach jest to trudniejsze (bo zbyt niska temperatura detonacji dla tego paliwa) a spalanie punktowe ciężko jest kontrolować (bo mieszanina może nie być jednorodna).

Moja propozycja co do ziarna - rozpocznij przeszukiwanie z N losowych punktów w głąb. Najprościej to zrobić skupując dostęp do kont guglowych osób z przekroju społecznego. To ci gwarantuje losowy rozkład punktów wejścia (niwelujesz wpływ algorytmów profilujących). Konta guglowe tworzą też pewne usieciowienie (Play poleca na głównej aplikacje pasujące do profilu twoich znajomych) tak więc scrapowanie będzie się rozszerzać niejako naturalnie.

Kiedy skończyć? Jak napotkasz aplikację polecaną z innego konta.

@marian pazdzioch:
To wygląda jakby każdy z tych kategorii w pionie miało wszystkie aplikacji z danej kategorii, niestety jak wejdziesz w jakąś aplikacje to nie ma tam możliwości przejścia do kategorii, więc słabo.