Wybór języka do scrapowania stron z ogłoszeniami

Cześć!
Od razu przejdę do konkretów, bo nawet nie wiem, czy dobrze myślę.
Chcę napisać program, który będzie filtrował ogłoszenia na stronach www.
Na przykład: chcę kupić samochód z konkretnymi parametrami. Piszę algorytm, w którym zawieram instrukcje, którymi ma się kierować przy przeszukiwaniu ogłoszeń. Gdy znajdzie odpowiadający mi typ, wysyła maila na wskazany adres włącznie z linkiem do samochodu.
Jak już napiszę ten program, to muszę go włączyć na określony czas, na przykład 2 godziny, żeby filtrował tę stronę. Chyba.

I tutaj rodzi się pytanie: czy powinnam użyć PHP, JavaScript czy jakiegoś innego języka?
Czy potrzebuję jakiegoś API udostępnionego przez te strony?
Wiem, że jeżeli chodzi o web, to raczej powinnam bazować na językach skryptowych, ale przecież mogę się mylić.
Jestem początkująca, więc proszę o wyrozumiałość.

Dziękuję i pozdrawiam.

1. ta idea sama w sobie nie mysi być na webie, w pelni można sobie wyobrazić apkę na windowsie
2. jak strony maja udostępnienie danych przez web-api to super. Bo jak nie, to musisz tzw web scrapping robić
3. dośc dobre wyniki osiągają ludzie w Pythonie (dobre bliboteki)

W przypadku samochodów i portali typu Otomoto mają powiadomienia na szukane kryteria. To znacznie lepsze niż parsowanie stron etc.

Tak na prawdę można zrobić to w każdym języku. Sam robiłem podobne rzeczy z olx, czy otodom. Tak jak up, musisz sprawdzić, czy target wystawia api. Jeśli nie to musisz podejrzeć z jakich endpointów korzysta do wyciągania danych i spróbować je odzwierciedlić. W najgorszym wypadku zostaje scraping, który jest najwolniejszy.

A ewentualne endpointy gdzie znajdę, jeśli API nie będzie? — Nowicjuszka07 1 minuta temu

Na temat odpowiadaj w postach. Trzeba sprawdzić po prostu co robi strona jak np. wejdziesz na główną i masz listę ogłoszeń. Potem jak wejdziesz na konkretne ogłoszenie. Większość poprzez konsolę dewloperską.
Api oficjalne to co innego - jest dostarczona dokumentacja i jest to przewidziane do wymiany danych z innymi aplikacjami. W przypadku sprawdzania ręcznego, taki endpoint może z dnia na dzień zwrócić coś zupełnie innego i robota na nowo.

Nowicjuszka07 napisał(a):

Cześć!
Od razu przejdę do konkretów, bo nawet nie wiem, czy dobrze myślę.
Chcę napisać program, który będzie filtrował ogłoszenia na stronach www.
Na przykład: chcę kupić samochód z konkretnymi parametrami. Piszę algorytm, w którym zawieram instrukcje, którymi ma się kierować przy przeszukiwaniu ogłoszeń. Gdy znajdzie odpowiadający mi typ, wysyła maila na wskazany adres włącznie z linkiem do samochodu.
Jak już napiszę ten program, to muszę go włączyć na określony czas, na przykład 2 godziny, żeby filtrował tę stronę. Chyba.

takich aplikacji jest już masa. Zainteresuj się gotowym rozwiązaniem, zamiast pisać swój.

@Riddle próbowałam takiego szukać, ale zdaję się, że nieodpowiednio formulowałam określenia, zapytania.
Tutaj wyjaśniłam, co mam na myśli, ale w wyszukiwarce trudno jest to napisać, żeby odnieść sukces :)

Nowicjuszka07 napisał(a):

@Riddle próbowałam takiego szukać, ale zdaję się, że nieodpowiednio formulowałam określenia, zapytania.
Tutaj wyjaśniłam, co mam na myśli, ale w wyszukiwarce trudno jest to napisać, żeby odnieść sukces :)

https://motoscanner.pl/

5 sekund mi zajęło żeby to znaleźć.

Dzięki Ci wielkie, wiem przynajmniej, jak miałoby to wyglądać :)!

Proponuję rozpoznać temat poszukiwania nieruchomości. Ostatnio "na topie" są tzw. flipperzy (szereg czynności od kupna za gotówkę do sprzedaży z zyskiem nazywa się "flip") korzystają z takiego oprogramowania, aby łatwiej wyhaczać nieruchomość nadającą się do zrobienia flipa. Może uda się trafić na potrzebne oprogramowanie, to nic innego, jak poszukiwanie ogłoszeń sprzedaży nieruchomości o określonych cechach.

@andrzejlisek: tak zrobię, dziękuję.

Pisałem dwa takie narzędzia. Na początku zastanawiałem się nad Pythonem, ale ostatecznie napisałem w Kotlinie z wykorzystaniem biblioteki Jsoup.
Z perspektywy czasu mogę powiedzieć, że Kotlin to był dobry wybór - dzięki temu powrót do kodu po dłuższej przerwie jest całkowicie bezbolesny :)

Napisałem scrappera który pobiera oferty pracy z just join it i zamierzam zapisywać je jeszcze do bazy danych i wyświetlać różne statystyki za pomocą zapytań. Wyniki zapytań będą wyświetlane na stronie z jakimś frontem. Projekt zamierzam opublikować na git hubie. Pytanie czy to nie będzie złamanie jakiegoś regulaminu tej strony?

Ja używam shella +wspomagam się małymi programami w C i całkiem nieźle daje radę ;)

Pozdrawiam!

PS Twoim problemem będzie to że admin będzie chciał Cię wygonić.