Curl z obsługą JavaScript

Curl z obsługą JavaScript
TR
  • Rejestracja:ponad 13 lat
  • Ostatnio:ponad 3 lata
  • Postów:58
0

Hej,
czasem bywa tak, że kod HTML jest edytowany dynamicznie przy użyciu języka JavaScript. Często to się dzieje już w czasie ładowania strony lub tuż po załadowaniu (żadna dodatkowa akcja nie jest potrzebna).
Mój soft analizuję stronę na podstawie tagów HTML, która właśnie tak działa.
Kod HTML jest pobierany Curl'em ale fragmenty modyfikowane JavaScript'em nie są widoczne.
Myślałem nad podpięciem jakiegoś JS Engine np. V8 ale nie mam za dużego doświadczenia w tej kwestii i nie wiem czy jest to w ogóle możliwe.
Z tego co wiem V8 nie ma wbudowanej warstwy sieciowej przez co nie poradzi sobie np. z Ajaxem, czy skryptami zapisanymi w osobnym pliku, a to jest ważne.

Ktoś ma jakiś pomysł?

AK
  • Rejestracja:prawie 7 lat
  • Ostatnio:około miesiąc
  • Postów:3561
5
  1. Nigdy nie stworzysz w ten spsobó środowiska mniej wiecej dokładnie emulującego przeglądarkę.
  2. jeśli apka jest na JS, to pewnie pobiera dane dynamicznie. Przeanalizuj co pobiera, i tam się zapnij
  3. wiem, ze niektórzy "pożyczają" sobie treści przez Selenium (nie dotykałem tematów)

Bo C to najlepszy język, każdy uczeń ci to powie
MA
ew. Cypress (trochę nowszy od selenium)
DR
Właśnie miałem pisać. Cypress jest chyba w tym wypadku najlepszym rozwiązaniem
AN
  • Rejestracja:około 19 lat
  • Ostatnio:4 minuty
0

Czy masz możliwość użycia jakiejś biblioteki, która zawiera web browsera (wnętrze przeglądarki osadzone w programie)?
Możnaby utworzyć obiekt webbrowsera, załadować stronę, a potem odczytać HTML, który wtedy będzie po modyfikacjach.

_13th_Dragon
  • Rejestracja:ponad 19 lat
  • Ostatnio:7 dni
1

Wykonuję programy na zamówienie, pisać na Priv.
Asm/C/C++/Pascal/Delphi/Java/C#/PHP/JS oraz inne języki.
TR
  • Rejestracja:ponad 13 lat
  • Ostatnio:ponad 3 lata
  • Postów:58
0

@andrzejlisek:
Teoretycznie jest taka możliwość (choć apka jest postawiona na serwerze Ubuntu - to raczej nie problem doinstalować środowisko graficzne systemu plus jakąś przeglądarkę).

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.