Python Logging 最佳实践(python logging配置)
itomcoil 2025-07-23 15:17 4 浏览
Python logging 的“最佳实践”可以概括为一句话:
让日志既能在开发时帮你排错,也能在生产里帮你定位问题,同时不给运维埋坑。
下面给出一份可直接落地的 checklist,分场景逐条说明。
1. 永远用 logging 而不是 print
print 只能到 stdout,无法控制级别、格式、去向。
开发阶段可临时加 -u 或 PYTHONUNBUFFERED=1 看 stdout,但上线前必须全部换成 logging。
2. 一条 logger 初始化语句,放到模块顶层
import logging
logger = logging.getLogger(__name__)
- __name__ 让层级与包结构一致,后续可按模块名过滤。
- 不要给 logger 起硬编码的名字,否则重构包名后配置失效。
3. 配置只写一次,写在程序入口
不要每个模块都 logging.basicConfig();
用 dictConfig 或 fileConfig,在 if __name__ == "__main__": 里或专门的 logging.yml 中加载。
import yaml, logging.config
with open("logging.yml") as f:
logging.config.dictConfig(yaml.safe_load(f))
4. 日志级别语义要统一
- DEBUG:排查问题时才需要看的细粒度信息。
- INFO:关键业务里程碑,上线后也要保留。
- WARNING:还能自愈的问题,磁盘快满、重试一次成功等。
- ERROR:需要人工介入,但程序还能跑。
- CRITICAL:程序已死或数据已坏,立即报警。
5. 日志格式 = 时间 + 级别 + 模块 + 行号 + 消息
一行就能定位到代码,运维最爱。
formatters:
standard:
format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d | %(message)s"
datefmt: "%Y-%m-%d %H:%M:%S"
6. 用占位符而不是 f-string
# 好
logger.info("create user %s with id=%d", username, uid)
# 不好
logger.info(f"create user {username} with id={uid}")
- 占位符只有在真正需要输出时才拼接,DEBUG 关闭时节省 CPU。
- 避免在 f-string 里提前触发耗时运算或异常。
7. 敏感信息脱敏
密码、token、手机号统一用 *** 或 hash 前 4 位。
8. 结构化日志(可选但推荐)
生产环境直接输出 JSON,方便 ELK / Loki / ClickHouse 解析:
formatters:
json:
(): pythonjsonlogger.jsonlogger.JsonFormatter
format: "%(asctime)s %(name)s %(levelname)s %(message)s"
9. 区分控制台与文件 Handler
- console:INFO 以上,人眼看。
- file:DEBUG 以上,自动 rotate。
- error_file:ERROR 以上,单独报警。
handlers:
console:
class: logging.StreamHandler
level: INFO
formatter: standard
stream: ext://sys.stdout
file:
class: logging.handlers.RotatingFileHandler
level: DEBUG
formatter: json
filename: logs/app.log
maxBytes: 50_000_000 # 50 MB
backupCount: 5
10. 第三方库噪音治理
# 调低不关心的库
logging.getLogger("urllib3").setLevel(logging.WARNING)
logging.getLogger("matplotlib").setLevel(logging.WARNING)
11. 异常记录用 logger.exception
try:
risky()
except Exception:
logger.exception("handle order failed, order_id=%s", order_id)
- 自动附带 traceback,省得手动 logger.error(e, exc_info=True)。
12. 在 async / 多进程场景
- asyncio:用 asyncio.run() 时 logging 会沿用主线程配置,无需特殊处理。
- multiprocessing:子进程需重新 dictConfig,否则 handler 会重复写同一文件导致错乱。可用 logging.handlers.QueueHandler + QueueListener 实现集中日志。
13. 单元测试时捕获日志
pytest 自带 caplog fixture,断言日志内容:
def test_invalid_user(caplog):
create_user("bad#name")
assert "invalid username" in caplog.text
14. 开发期小技巧
- 临时把全局级别调到 DEBUG:
python -m mypkg.main --log-level=DEBUG
用 argparse 解析后 logging.getLogger().setLevel(args.log_level.upper())。 - 对某个模块临时打开 DEBUG:
logging.getLogger("mypkg.engine").setLevel(logging.DEBUG)
15. 一个完整示例目录
mypkg/
├─ __init__.py
├─ main.py
├─ engine.py
└─ logging.yml
logging.yml:
version: 1
disable_existing_loggers: false
formatters:
standard:
format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d | %(message)s"
datefmt: "%Y-%m-%d %H:%M:%S"
json:
(): pythonjsonlogger.jsonlogger.JsonFormatter
handlers:
console:
class: logging.StreamHandler
level: INFO
formatter: standard
stream: ext://sys.stdout
file:
class: logging.handlers.RotatingFileHandler
level: DEBUG
formatter: json
filename: logs/app.log
maxBytes: 50_000_000
backupCount: 5
loggers:
"":
level: DEBUG
handlers: [console, file]
main.py
import logging.config, yaml
from engine import process
def setup_logging():
with open("logging.yml") as f:
logging.config.dictConfig(yaml.safe_load(f))
if __name__ == "__main__":
setup_logging()
process()
engine.py
import logging
logger = logging.getLogger(__name__)
def process():
logger.info("start processing")
try:
1/0
except ZeroDivisionError:
logger.exception("unexpected zero")
总结
把日志当 API 设计:格式稳定、级别清晰、配置集中、敏感脱敏、可观测、可测试。
相关推荐
- Python自动化——pytest常用插件详解
-
前言Pytest是Python的一种单元测试框架,与unittest相比,使用起来更简洁、效率更高,也是目前大部分使用python编写测试用例的小伙伴们的第一选择了。除了框架本身提供的功能外,Pyte...
- 全网最全pytest大型攻略,单元测试学这就够了
-
pytest是一款以python为开发语言的第三方测试,主要特点如下:比自带的unittest更简洁高效,兼容unittest框架支持参数化可以更精确的控制要测试的测试用例丰富的插件,已有30...
- Python Logging 最佳实践(python logging配置)
-
Pythonlogging的“最佳实践”可以概括为一句话:让日志既能在开发时帮你排错,也能在生产里帮你定位问题,同时不给运维埋坑。下面给出一份可直接落地的checklist,分场景逐条说明。1....
- Python单元测试框架对比(python中unittest框架)
-
一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...
- 如何使用Python进行单元测试(pycharm单元测试)
-
前言在我的日常工作中,我是一名专业程序员。我使用c++、c#和Javascript。我是一个开发团队的一员,他们使用单元测试来验证我们的代码是否按照它应该的方式工作。在本文中,我将通过讨论以下主题来研...
- Python单元测试(pycharm单元测试)
-
1.单元测试概述1.1什么是单元测试单元测试(UnitTesting)是指对软件中的最小可测试单元进行检查和验证的过程。在Python中,最小单元通常指函数、方法或类。1.2单元测试的特性独立...
- pytest框架之fixture测试夹具详解
-
前言大家晚上好呀,今天呢来和大家唠唠pytest中的fixtures夹具的详解,废话就不多说了咱们直接进入主题哈。一、fixture的优势pytest框架的fixture测试夹具就相当于unitte...
- Pytest精髓Fixture功能实例!测试效率暴涨!
-
前言大家好!我们今天来学习Python测试框架中的最具特色的功能之一:Fixture。可以说,掌握了Fixture,你就掌握了Pytest的精髓。它不仅能让你的测试代码更简洁、更优雅、更易于...
- Python最常见的170道面试题全解析答案(二)
-
60.请写一个Python逻辑,计算一个文件中的大写字母数量答:withopen(‘A.txt’)asfs:count=0foriinfs.read():ifi.isupper...
- 为什么python高手都爱用闭包?这个实时函数技巧绝了
-
杂谈我想很多人都玩过python的闭包,其中最有趣的部分应该就是装饰器了。但我想很多人应该没运用上闭包的特性——外部局部变量的存储。什么意思呢?其实就是当闭包引用外部的局部变量将会被存储起来,而不会随...
- 春节停车难?用Python找空车位(用python编写停车场停车收费)
-
【导语】今天这篇文章的选题非常贴近生活。营长生活在北京,深知开车出门最怕的就是堵车和找不到停车位。记得冬至那个周末,几个小伙伴滑雪回来找了一家饺子馆吃饺子,结果七拐八拐,好不容易才找到一个停车位。看到...
- PYTHON数据分析必备知识(2)(python数据分析范例)
-
1.二分钟快速给项目添加日志信息"""给项目添加日志信息"""#导Python内置包importloggingimporttime...
- 春节回家!车位难求啊!看我用Python自动寻找空车位!
-
作者通过相机结合深度学习算法,基于Python语言建立一个高精度的停车位的通知系统,每当有新停车位时就会发短信提醒我。听起来好像很复杂,真的方便实用吗?但实际上所使用的工具都是现成的,只要将这些工...
- “==”和“is”有什么区别?一个问题就能暴露你的Python水平
-
可能在网上你经常能看到关于这个问题的答案和解析,但是依然有很多刚开始学习Python的人,不了解这个问题,也不知道为什么问这个问题时会暴露自己是“菜鸟”,这个问题就是:“==”和“is”之间有什么...
- Python条件语句怎么用(python中条件语句的用法)
-
if条件判断语句python语句是按固定顺序执行的,先执行前面的语句,再执行后面的语句。如果你像要程序按照你自己定制的流程执行,就需要用到流程控制的语句,最主要用到的是条件语句和循环语句。条件语句...
- 一周热门
- 最近发表
- 标签列表
-
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)
- shutil.copy() (33)