Cześć!
Chciałbym pobrać źródło strony html, która w adresie zawiera polskie znaki. Przykład dla pracuj.pl:
import urllib.request
url = 'https://www.pracuj.pl/praca/sql;kw/Warszawa;wp'
SiteSource = urllib.request.urlopen(url).read()
print(SiteSource)
Zwraca źródło:
b'<!DOCTYPE html> <html prefix="og: http://ogp.me/ns#" xmlns:fb="http://www.facebook.com/2008/fbml"> <head> <meta charset="utf-8"/> (...)
Natomiast, jeżeli tylko zmienię miasto na Poznań:
import urllib.request
url = 'https://www.pracuj.pl/praca/sql;kw/Poznań;wp'
SiteSource = urllib.request.urlopen(url).read()
print(SiteSource)
Otrzymuję błąd:
Traceback (most recent call last):
File "[PythonProjects]/untitled8/asd.py", line 5, in <module>
SiteSource = urllib.request.urlopen(url).read()
File "[PythonLib]\urllib\request.py", line 223, in urlopen
return opener.open(url, data, timeout)
File "[PythonLib]\urllib\request.py", line 526, in open
response = self._open(req, data)
File "[PythonLib]\urllib\request.py", line 544, in _open
'_open', req)
File "[PythonLib]\urllib\request.py", line 504, in _call_chain
result = func(*args)
File "[PythonLib]\urllib\request.py", line 1361, in https_open
context=self._context, check_hostname=self._check_hostname)
File "[PythonLib]\urllib\request.py", line 1318, in do_open
encode_chunked=req.has_header('Transfer-encoding'))
File "[PythonLib]\http\client.py", line 1239, in request
self._send_request(method, url, body, headers, encode_chunked)
File "[PythonLib]\http\client.py", line 1250, in _send_request
self.putrequest(method, url, **skips)
File "[PythonLib]\http\client.py", line 1117, in putrequest
self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode character '\u0144' in position 23: ordinal not in range(128)
Chciałem to jakoś przekonwertować, ale nie mam sposobu:
url = 'https://www.pracuj.pl/praca/sql;kw/Poznań;wp'
url1 = url.encode('utf-8')
url2 = url.encode('ansi')
print(url1)
print(url2)
Z góry dziękuję za pomoc.