在之前的介绍中我们提到过request请求库，作为Python中常用的用来请求客户端的工具被很多开发者所喜爱，但是实际上Python中还有其他的HTTP客户端库来实现网络请求服务，例如urllib3，urllib3是Python中的又一个功能强大的HTTP客户端请求库，被用来在爬虫开发中使用，与标准库urllib相比urllib3库提供了更加丰富和灵活的功能，例如可以处理HTTP请求、连接池管理、重试机制、SSL验证等，下面我们就来详细的介绍一下urllib3库的基本用法及其在爬虫中的应用。
安装urllib3
??首先，我们可以通过如下的命令来安装urllib3库，如下所示。
pip install urllib3
使用urllib3发起请求
??安装好依赖库之后，接下来我们就可以利用urllib3库提供的API来发送HTTP请求，如下所示，我们可以通过urllib3.PoolManager类来管理连接池，然后来发起HTTP请求。
import urllib3
# 创建一个连接池管理器
http = urllib3.PoolManager()
# 发起GET请求
response = http.request('GET', 'https://httpbin.org/get')
# 打印响应内容
print(response.status) # 响应的状态码
print(response.data.decode('utf-8')) # 响应的内容，需解码
??在上面的代码中，我们通过http.request('GET', url)来发起了一个GET请求，然后获取了一下response对象包含的HTTP响应的各项信息，如状态码、响应内容等。接下来我们来看看如何通过urllib3发送一个POST请求
POST请求
??与GET请求类似，只不过POST请求需要特殊封装一下请求体和请求头，如下所示。
import urllib3
import json
# 创建一个连接池管理器
http = urllib3.PoolManager()
# 请求头
headers = {
'Content-Type': 'application/json'
}
# 请求体数据
data = {
'name': 'John Doe',
'age': 30
}
# 发起POST请求
response = http.request(
'POST',
'https://httpbin.org/post',
body=json.dumps(data),
headers=headers
)
# 打印响应内容
print(response.status)
print(response.data.decode('utf-8'))
??在POST请求中，会看到我们对请求头和请求体都进行了封装。
发送带参数的请求
??对于参数携带这块，GET请求可以直接通过URL进行传递，或者是我们可以通过urllib.parse模块来构造带有查询参数的URL路径，如下所示，在代码中通过urlencode()方法来进行字典转换，将字典转换成参数字符串进行请求。
import urllib3
from urllib.parse import urlencode
http = urllib3.PoolManager()
# 构造查询参数
params = {'page': 1, 'size': 10}
url = 'https://httpbin.org/get?' + urlencode(params)
# 发起请求
response = http.request('GET', url)
print(response.status)
print(response.data.decode('utf-8'))
处理HTTP响应
??根据上面的例子，我们可以看到在urllib3的响应对象中提供了多种的属性以及方法来获取响应的详细信息，比较常见，或者是比较常用的属性有如下几个。
- response.status: HTTP响应状态码。
- response.data: 响应的原始数据，是一个字节串。
- response.headers: 响应头，以字典形式返回。
- response.reason: 响应的描述性信息（如“OK”）。
??当然，除了这些基础响应之外，我们还需要了解一下对于响应数据的处理，一般情况下我们获取到的数据都是JSON格式的数据，所以我们可以将这个JSON格式的数据直接加载成为Python的对象来处理，如下所示。
import json
# 解析JSON响应
response_json = json.loads(response.data.decode('utf-8'))
print(response_json)
??当然，JSON数据之外，我们还可能会直接接收到HTML的数据，所以我们也可以通过HTML解析类库来对数据进行解析存储利用。
错误处理与重试机制
??在之前介绍request库的时候，我们提到过，爬虫操作过程中，我们可能会遇到网络波动、服务器不可用等情况，在urllib3中内置了一个强大的重试机制，我们可以通过Retry类来实现请求重试策略，如下所示。
import urllib3
from urllib3.util.retry import Retry
from urllib3.poolmanager import PoolManager
# 设置重试机制
retry = Retry(
total=3, # 重试次数
backoff_factor=0.3, # 重试间隔的倍数
status_forcelist=[500, 502, 503, 504], # 对这些状态码进行重试
)
# 创建连接池管理器
http = urllib3.PoolManager(
retries=retry
)
# 发起请求
response = http.request('GET', 'https://httpbin.org/status/500')
print(response.status)
??我们看到在这个例子中，当遇到5XX的错误的时候，表示服务器内部出现了错误，这个时候我们可以对请求进行重试，最多进行3次的重试，并且每次重试的时间间隔会递增，这里我们可以通过backoff_factor参数来进行控制，如上面的代码中所示。
??那么在重试完之后，还是没有能解决的话，这个时候，就需要通过urllib3.exceptions模块中的异常来处理请求中的错误，如下所示。
from urllib3.exceptions import HTTPError, MaxRetryError, TimeoutError
try:
response = http.request('GET', 'https://httpbin.org/status/500')
except MaxRetryError as e:
print(f"最大重试次数达到: {e}")
except TimeoutError as e:
print(f"请求超时: {e}")
except HTTPError as e:
print(f"HTTP错误: {e}")
SSL验证
??一般情况下，当遇到HTTPS请求的时候，需要用到SSL证书，在默认情况下urllib3会验证证书，如果需要禁用SSL验证机制或者是通过自定义证书进行验证的话，我们可以对其进行对应的配置。如下所示，展示了如何禁用SSL验证。
http = urllib3.PoolManager(
cert_reqs='CERT_NONE', # 禁用SSL证书验证
assert_hostname=False # 不检查主机名
)
response = http.request('GET', 'https://expired.badssl.com/')
print(response.status)
??或者是我们有自定义的证书的话可以通过如下的方式来进行加载。
http = urllib3.PoolManager(
cert_file='/path/to/cert.pem',
key_file='/path/to/key.pem'
)
response = http.request('GET', 'https://secure.example.com/')
print(response.status)
连接池与性能优化
??池化技术，作为一个可以实现连接重用的机制，在urllib3中通过PoolManager类来提供连接池管理功能。通过连接池技术来避免每次请求都重新创建连接，从而提高的程序执行的性能，如下所示，我们可以通过如下的配置，来设置连接池的大小。
http = urllib3.PoolManager(
num_pools=10, # 最大连接池数量
maxsize=10, # 每个池最大连接数
block=True # 如果连接池满了，则阻塞等待
)
response = http.request('GET', 'https://httpbin.org/get')
print(response.status)
总结
??urllib3是一个功能强大的HTTP客户端库，它不仅能发起HTTP请求，还提供了连接池管理、重试机制、SSL验证等多种高级功能，特别适合在爬虫开发中使用。在实际应用中，可以将urllib3与其他爬虫库（如requests）结合使用，这样可以进一步简化和优化爬虫的开发流程，提升爬虫操作性能。