urllib库
3.1 使用urllib
urllib库是python内置的HTTP请求库。
request：它是*基本的HTTP请求模块
error：异常处理模块
parse：一个工具模块
3.1.1 发送请求
使用urllib的request模块，可以方便得实现请求的发送并得到响应
1.urlopen()
以python官网为例，我们把这个网页抓下来：
from urllib import request
respone=request.urlopen(‘https://www.python.org’)
print(respone.read().decode(‘utf-8’))
响应是一个HTTPResponse 类型的对象，主要包含read(),readinto(),getheader(name),getheaders(),fileno() 等方法，以及msg,version,status,reason,debuglevel,closed 等属性
urlopen()函数的API:
urllib.request.urlopen(url,data=None,[timeout]\* ,cafile=None,capath=None,cadefault=False,context=None)
1
timeout参数:
timeout参数用于设置超时时间，单位为秒，意思是如果请求超过了设置的这个时间，还没有得到响应，就会抛出异常。因此可以通过设置这个超时时间来控制一个网页如果长时间未响应，就跳过它的抓取。
import socket
from urllib import request,error
try:
response=request.urlopen(‘http://httpbin.org/get’,timeout=0.1)
except error.URLError as e:
if isinstance(e.reason,socket.timeout):
print(‘TIME OUT’)
2.Request
如果请求中需要加入Headers等信息，就可以利用更强大的Request类来构建
”’例子”’
from urllib import request
url=’https://www.python.org’
req=request.Request(url)
response=request.urlopen(req)#urlopen()的参数由url变成了Request类的对象
print(response.read().decode(‘utf-8′))
Request的构造方法：
class urllib.request.Request(url,data=None,headers={},origin_req_host=None，unverifiable=False,method=Npne)
1
1.*个参数url用来请求URL，这是必传参数，其他都是可选参数。
2.第二个参数data如果要传，必须传bytes（字节流）类型的。如果它是字典，可以先用urllib.parse模块里的urldecode()编码。
3.第三个参数headers是一个字典，它就是请求头，我们可以构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header() 方法添加。
4.第四个参数origin_req_host 指的是请求方的host名称或者IP地址。
5.第五个参数unverfiable
6.第六个参数method是一个字符串，用来指请求时使用的方法。
举个例子：
from urllib import request,parse
url=’http://httpbin.org/post’
headers={
‘Use-Agent’:’Mozilla/4.0(compatible;MSIE 5.5;Windows NT)’
,’Host’:’httpbin.org’
}
dict={
‘name’:’Germey’
}
data=bytes(parse.urlencode(dict),encoding=’utf-8′)
req=request.Request(url=url,headers=headers,data=data,method=’POST’)
response=request.urlopen(req)
print(response.read().decode(‘utf-8′)
运行结果：
{
“args”: {},
“data”: “”,
“files”: {},
“form”: {
“name”: “Germey”
},
“headers”: {
“Accept-Encoding”: “identity”,
“Content-Length”: “11”,
“Content-Type”: “application/x-www-form-urlencoded”,
“Host”: “httpbin.org”,
“Use-Agent”: “Mozilla/4.0(compatible;MSIE 5.5;Windows NT)”,
“User-Agent”: “Python-urllib/3.9”,
“X-Amzn-Trace-Id”: “Root=1-6065db0f-1c0ea1db629b705e722929a5”
},
“json”: null,
“origin”: “220.249.162.169”,
“url”: “http://httpbin.org/post”
}
另外，headers也可以用add_header() 的方法来添加：
req=request.Request(url=url,data=data,method=’POST’)
req.add_header(‘Use-Agent’:’Mozilla/4.0(compatible;MSIE 5.5;Windows NT)’)
3.高级用法
对于一些更高级的操作(比如Cookie处理，代理设置等)，就需要更高级的工具Handler，它是各种处理器，有专门处理登入验证的，有处理cookie的，有处理代理设置的。
urllib.request模块里的BaseHandler类，它是其他Handler的父类，它提供了*基础的方法，如default_open(),protocol_request()等。
有各种Hanler子类继承了BaseHandler类，例如：
1.HTTPDefaultErrorHandler:用于处理响应错误。
2.HTTPRedirectHandler：用于处理重定向。
3.ProxyHandler:用于处理代理设置，默认代理为空。
4.HTTPCookieProcessor：用于处理Cookies。
5.HTTPPasswordMgr:用于管理密码，它维护了用户名和密码表。
6.HTTPBasicAuthHAndler:用于管理认证。
另一个比较重要的类是OpennerDirector,我们可以称为Opener，Opener可以使用open() 方法，返回类型和urlopen()如出一辙。
举几个实例：
验证
from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError
username=’username’
password=’password’
url=’http://localhost:5000/’
p=HTTPPasswordMgrWithDefaultRealm()
#用add_password()添加用户名和密码
p.add_password(None,url,username,password)
#实例化HTTPBasicAuthHandler对象，其参数HTTPPasswordMgrWithDefaultRealm的对象
auth_handler=HTTPBasicAuthHandler(p)
#用handler构造opener
opener=build_opener(auth_handler)
try:
#用open()方法访问url
result=opener.open(url)
html=result.read().decode(‘utf-8’)
print(html)
except URLError as e:
print(e.reason)
代理
from urllib.request import ProxyHandler,build_opener
from urllib.error import URLError
proxy_handler=ProxyHandler({
‘http’:’http://127.0.0.1:9743′,
‘https’:’https://127.0.0.1:9743′
})
opener=build_opener(proxy_handler)
try:
result=opener.open(‘https://www.baidu.com’)
html=result.read().decode(‘utf-8′)
print(html)
except URLError as e:
print(e.reason)
”’
这里我们在本地搭建了一个代理，它运行在9743端口上。
这里使用了ProxyHandler,其参数是一个字典，键名是协议类型，键值是代理链接，可以添加多个代理。
然后，利用这个Handler及build_opener()方法构造出Opener,之后发送请求即可。
”’
Cookie
先用实例将网站的Cookies获取下来：
import http.cookiejar,urllib.request
cookie=http.cookiejar.CookieJar()
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
response=opener.open(‘https://baidu.com’)
for item in cookie:
print(item.name+”=”+item.value)
首先，必须声明一个CookieJar对象。接下来就需要利用HTTPCookiePocesser来构建一个Handler，*后利用build_opener()构建一个Opener，执行open()方法即可。
运行结果如下：
E:\pythonProject1\venv\Scripts\python.exe E:/expriment_1/github.py
BAIDUID=4960031CCAA92AB93BEE5567F01B4420:FG=1
BIDUPSID=4960031CCAA92AB9E8CD0B352782435C
H_PS_PSSID=33801_33810_33749_33344_31660_33779_33759_26350_33731_33803
PSTM=1617325714
BDSVRTM=0
BD_HOME=1
