Witam serdecznie,
Chce wyciągnąć dane z pewnej strony internetowej X przy użyciu BS4, która to z kolei korzysta z technologii AJAX. Problem leży w tym, że aby połączyć się ze stroną muszę najpierw wysłać request używając SSL, ale gdy wysyłam go to proxy mi je blokuje :).
Jedno jest pewne , dostęp do strony mam - sprawdzane z poziomu przeglądarki
Znajdzie się jakiś szpec ?:)
SSL/TLS zwykle jest prawie niewidoczne dla ciebie. Ot po prostu socket TCP IP który może zgłaszać jakieś dodatkowe błędy.
Prawdopodobnie problem jest z certyfikatem.
Najprawdopodobniej twoja aplikacja python jest tak skonfigurowana, że nie ufa certyfikatowi jakim serwer się identyfikuje.
Podaj dokładnie jaki masz błąd.
Hej , cześć(strasznie zamuliłem, nawał pracy)
Generalnie robię coś takiego :
import requests
import ssl
CA_path = ssl.get_default_verify_paths().openssl_cafile
rq = requests.get("https://some.url", verife = CA_path)
OSError: Could not find the TLS certificate file, invalid path: C:\Program Files (x86)\Common Files\SSL/cert.pem # error
pliku tam nie ma i zastanawiam się nad tym, jak przeglądarka robi taki request ..skąd ona bierze właściwy certyfikat, bo jeśli ja bym miał dostęp do tej ścieżki to prawdopodobnie problem by się rozwiązał :)
- proxy? Co to znaczy blokuje?
- Co to znaczy request używając SSLa?
- A ta strona na pewno tych danych nie serwuje jakimś webserwisem?
Chyba nie rozumiesz jak to działa.
Przeglądarka, ma preinstalowany zestaw ceryfikatów CA, do których producent przeglądarki ma zaufanie.
W momencie łączenia się z jakimś serwerem, serwer wysyła swój łańcuch zaufania, a przeglądarka sprawdza poprawność łańcucha i sprawdza, czy ten łańcuch ma ogniwo należące do zestawu zaufanych certyfikatów.
Python też ma jakiś zestaw zaufanych ceryfikatów. W programie w razie potrzeby możesz zdefiniować ten zestaw.
A twój błąd polega na tym, że coś jest źle skonfigurowane i pod wskazaną ścieżką nie ma pliku certyfikatu.
MarekR22 napisał(a):
Chyba nie rozumiesz jak to działa.
Przeglądarka, ma preinstalowany zestaw ceryfikatów CA, do których producent przeglądarki ma zaufanie.
W momencie łączenia się z jakimś serwerem, serwer wysyła swój łańcuch zaufania, a przeglądarka sprawdza poprawność łańcucha i sprawdza, czy ten łańcuch ma ogniwo należące do zestawu zaufanych certyfikatów.
Python też ma jakiś zestaw zaufanych ceryfikatów. W programie w razie potrzeby możesz zdefiniować ten zestaw.
A twój błąd polega na tym, że coś jest źle skonfigurowane i pod wskazaną ścieżką nie ma pliku certyfikatu.
Owszem, wiedziałem że pewnie gdzieś brakuje mi jakiegoś elementu układani, dziękuje za wyjaśnienie.
Wydaje mi się, że poszedłem o krok dalej ...:), a mianowicie - teraz dostaje kod odpowiedź HTTP 401 od aplikacji.
url='https://mojUrl.aspx'
response = requests.post(url,verify=False)
print(response.status_code)
InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
401
Nie wiem jak to działa i jak ten mechanizm się nazywa, ale po zalogowaniu się do swojego konta Windows, przeglądarka loguje się niejawnie z moimi poświadczeniami( czyli login windowsowy i hasło) do tej strony, przypuszczam że wysyła moje poświadczenia przez cookies, albo cos.. nie jestem specem od WEB'U.
request metodą GET wygląda tak
Dam więcej info, może ktoś się dołączy :).
W momencie wprowadzenia danych w tym oknie formularza:
zostają tworzone 2 requesty typu GET!
Po kliknięciu w żadana pozycje w menu, zostają robione dodatkowe requesty POST:
i teraz:
tutaj jest request , który ja bym chciał złapać. To tu są najcenniejsze informacje dla mnie, zakładając że nie będę musiał parsować statycznego HTML'a. Może ta informacja coś jeszcze komuś podpowie. Widziałem, ze w niektórych polach była często używana naza SNMP, może w ten sposób spróbować ??
Zainstaluj sobie BurpSuite Free i zobacz co tam idzie między przeglądarką a serwerami. Albo ew. Wiresharka, tylko pamiętaj, żeby ustawić sobie SSL log file: https://jimshaver.net/2015/02/11/decrypting-tls-browser-traffic-with-wireshark-the-easy-way/
