Szukam ostatnio telewizora do kupna - zauważyłem, że ceny mocno się zmieniają w ciągu doby. Często w nocy wchodzą naprawdę niezłe ceny ( czasem błąd cenowy). Wpadłem pomysł na aplikację. Chciałem napisać takiego scrapera, który byłby procesem w tle i odpytywałby powiedzmy co 10 min strony z konkretnymi modelami telewizorów. Sprawdzałby czy cena jest jakaś promocyjna i wysyłałby mejla do mnie gdyby była jakaś prawdziwa okazja.
No i natrafiłem na pierwszy problem. Strony wszystkich marketów są dynamiczne i cena pojawiają się po chwili z wykorzystaniem skryptów ( pewnie jakiś tam strzał do api jest w celu ustalenia aktualnej ceny). Chciałem skorzystać z HTML Agility Pack ale on radzi sobie świetnie tylko ze statycznymi stronami. Pytanie moje jest - jak sobie z tym poradzić? Czy możliwe jest w ogóle napisanie takiego programu (konsolowa apka, albo proces) w której taki web scraping dynamicznych stron będzie możliwy?
Pogrzebałem chwilę w necie i alternatywą jest Selenium no ale jednak chciałem, żeby finalnie działo się to w tle bez otwierania fizycznego przeglądarki. Macie jakieś pomysły?