每天一个 Python 库:requests HTTP 请求神器,用代码玩转网页
itomcoil 2025-08-05 18:53 5 浏览
什么是requests
requests 是 Python 中最受欢迎的第三方库之一,用于发送各种 HTTP 请求(GET、POST、PUT、DELETE 等)。无论是爬虫、接口测试,还是后台数据采集,它都表现稳定高效。
学习本来就不是一蹴而就的事,不过只要你肯练、敢用,坚持一阵子,你一定能看到变化!
快速安装
pip install requests
一、GET 请求:获取网页数据
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
url = "https://httpbin.org/get"
params = {
"name": "Trump",
"party": "Republican",
"age": 79
}
response = requests.get(url, params=params, verify=False)
print(response.status_code) # 200
print(json.dumps(json.loads(response.text), indent=4, sort_keys=True, ensure_ascii=False))
适用场景:网页抓取、API 查询、数据分析前的采集。
二、POST 请求:提交表单/发送数据
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
url = "https://httpbin.org/post"
params = {
"name": "Trump",
"party": "Republican",
"age": 79
}
data = {"username": "admin", "password": "123456"}
response = requests.post(url, params=params, data=data, verify=False)
print(response.status_code) # 200
print(json.dumps(json.loads(response.text), indent=4, sort_keys=True, ensure_ascii=False))
适用场景:模拟登录、表单提交、自动化测试。
三、设置请求头、Cookie
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
url = "https://httpbin.org/headers"
headers = {"User-Agent": "MyPythonBot/1.0"}
cookies = {"sessionid": "fake-session-id"}
params = {
"name": "Trump",
"party": "Republican",
"age": 79
}
data = {"username": "admin", "password": "123456"}
response = requests.get(url, params=params, data=data, verify=False, headers=headers, cookies=cookies)
print(response.status_code) # 200
print(json.dumps(json.loads(response.text), indent=4, sort_keys=True, ensure_ascii=False))
适用场景:伪装成浏览器、保持会话。
四、下载文件(如图片、PDF)
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
url = "https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png"
response = requests.get(url)
with open("Baidu.png", "wb") as f:
f.write(response.content)
小技巧:使用 .content 获取二进制内容,用于文件写入。
五、异常处理与超时设置
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
def test(timeout):
url = "https://httpbin.org/delay/3"
try:
response = requests.get(url, timeout=timeout, verify=False)
print(f"timeout= {timeout},\n{json.dumps(json.loads(response.text), indent=4, sort_keys=True, ensure_ascii=False)}")
except requests.exceptions.Timeout:
print(f"timeout= {timeout},请求超时!")
if __name__ == '__main__':
timeout_1 = 3
timeout_2 = 5
test(timeout_1)
test(timeout_2)
防止请求卡住、适合放在定时任务或爬虫脚本中。
六、接口自动化测试场景示例(结合断言)
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project :Fish
@File :D18.py
@Date :2025/6/16 18:58
@Author : malijie
"""
import json
import requests
requests.packages.urllib3.disable_warnings()
def test_status():
url = "https://httpbin.org/status/200"
response = requests.get(url, verify=False)
print(response.status_code)
assert response.status_code == 200
def test_status2():
url = "https://httpbin.org/status/200"
response = requests.get(url, verify=False)
print(response.status_code)
assert response.status_code == 404
requests 是接口测试框架如 pytest 或 unittest 的好搭档。
总结速查表
功能 | 用法 | 说明 |
GET 请求 | requests.get(url, params) | 获取网页/接口数据 |
POST 请求 | requests.post(url, data) | 提交数据 |
请求头设置 | headers={'User-Agent':...} | 伪装浏览器 |
设置超时 | timeout=5 | 防止阻塞 |
下载文件 | response.content | 保存图片/文件 |
获取 JSON | response.json() | 自动解析接口返回值 |
点赞关注不迷路,后续更新更多自动化测试经验,我们一起成长!
欢迎评论区留言你最常用的 JSON 场景或踩过的坑~
下期预告:beautifulsoup4 — 精准提取网页结构中的信息
点击头像查看往期精彩文章!
相关推荐
- selenium(WEB自动化工具)
-
定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7,8,9,10,11),MozillaF...
- 开发利器丨如何使用ELK设计微服务中的日志收集方案?
-
【摘要】微服务各个组件的相关实践会涉及到工具,本文将会介绍微服务日常开发的一些利器,这些工具帮助我们构建更加健壮的微服务系统,并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...
- 高并发系统设计:应对每秒数万QPS的架构策略
-
当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时,大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...
- 2025 年每个 JavaScript 开发者都应该了解的功能
-
大家好,很高兴又见面了,我是"高级前端进阶",由我带着大家一起关注前端前沿、深入前端底层技术,大家一起进步,也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...
- JavaScript Array 对象
-
Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0,第二个索引值为1,以此类推。更多有...
- Gemini 2.5编程全球霸榜,谷歌重回AI王座,神秘模型曝光,奥特曼迎战
-
刚刚,Gemini2.5Pro编程登顶,6美元性价比碾压Claude3.7Sonnet。不仅如此,谷歌还暗藏着更强的编程模型Dragontail,这次是要彻底翻盘了。谷歌,彻底打了一场漂亮的翻...
- 动力节点最新JavaScript教程(高级篇),深入学习JavaScript
-
JavaScript是一种运行在浏览器中的解释型编程语言,它的解释器被称为JavaScript引擎,是浏览器的一部分,JavaScript广泛用于浏览器客户端编程,通常JavaScript脚本是通过嵌...
- 一文看懂Kiro,其 Spec工作流秒杀Cursor,可移植至Claude Code
-
当Cursor的“即兴编程”开始拖累项目质量,AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维:需求-设计-任务三件套一次生成,文档与代码同步落地,复杂项目不...
- 「晚安·好梦」努力只能及格,拼命才能优秀
-
欢迎光临,浏览之前点击上面的音乐放松一下心情吧!喜欢的话给小编一个关注呀!Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...
- JavaScript 中 some 与 every 方法的区别是什么?
-
大家好,很高兴又见面了,我是姜茶的编程笔记,我们一起学习前端相关领域技术,共同进步,也欢迎大家关注、点赞、收藏、转发,您的支持是我不断创作的动力在JavaScript中,Array.protot...
- 10个高效的Python爬虫框架,你用过几个?
-
小型爬虫需求,requests库+bs4库就能解决;大型爬虫数据,尤其涉及异步抓取、内容管理及后续扩展等功能时,就需要用到爬虫框架了。下面介绍了10个爬虫框架,大家可以学习使用!1.Scrapysc...
- 12个高效的Python爬虫框架,你用过几个?
-
实现爬虫技术的编程环境有很多种,Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫,为什么呢?因为Python确实很适合做爬虫,丰富的第三方库十分强大,简单几行代码便可实...
- pip3 install pyspider报错问题解决
-
运行如下命令报错:>>>pip3installpyspider观察上面的报错问题,需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...
- PySpider框架的使用
-
PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统,它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...
- 「机器学习」神经网络的激活函数、并通过python实现激活函数
-
神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下:左图中,偏置b没有被画出来,如果要表示出b,可以像右图那样做。用数学式来表示感知机:上面这个数学式子可以被改写:...
- 一周热门
- 最近发表
- 标签列表
-
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)
- shutil.copy() (33)