百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Python Logging 最佳实践(python logging配置)

itomcoil 2025-07-23 15:17 4 浏览

Python logging 的“最佳实践”可以概括为一句话:
让日志既能在开发时帮你排错,也能在生产里帮你定位问题,同时不给运维埋坑。

下面给出一份可直接落地的 checklist,分场景逐条说明。

1. 永远用 logging 而不是 print

print 只能到 stdout,无法控制级别、格式、去向。
开发阶段可临时加 -u 或 PYTHONUNBUFFERED=1 看 stdout,但上线前必须全部换成 logging。

2. 一条 logger 初始化语句,放到模块顶层

import logging
logger = logging.getLogger(__name__)
  • __name__ 让层级与包结构一致,后续可按模块名过滤。
  • 不要给 logger 起硬编码的名字,否则重构包名后配置失效。

3. 配置只写一次,写在程序入口

不要每个模块都 logging.basicConfig();
dictConfigfileConfig,在 if __name__ == "__main__": 里或专门的 logging.yml 中加载。

import yaml, logging.config
with open("logging.yml") as f:
logging.config.dictConfig(yaml.safe_load(f))

4. 日志级别语义要统一

  • DEBUG:排查问题时才需要看的细粒度信息。
  • INFO:关键业务里程碑,上线后也要保留。
  • WARNING:还能自愈的问题,磁盘快满、重试一次成功等。
  • ERROR:需要人工介入,但程序还能跑。
  • CRITICAL:程序已死或数据已坏,立即报警。

5. 日志格式 = 时间 + 级别 + 模块 + 行号 + 消息

一行就能定位到代码,运维最爱。

formatters:
  standard:
    format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d | %(message)s"
    datefmt: "%Y-%m-%d %H:%M:%S"

6. 用占位符而不是 f-string

# 好
logger.info("create user %s with id=%d", username, uid)
# 不好
logger.info(f"create user {username} with id={uid}")
  • 占位符只有在真正需要输出时才拼接,DEBUG 关闭时节省 CPU。
  • 避免在 f-string 里提前触发耗时运算或异常。

7. 敏感信息脱敏

密码、token、手机号统一用 *** 或 hash 前 4 位。

8. 结构化日志(可选但推荐)

生产环境直接输出 JSON,方便 ELK / Loki / ClickHouse 解析:

formatters:
  json:
    (): pythonjsonlogger.jsonlogger.JsonFormatter
    format: "%(asctime)s %(name)s %(levelname)s %(message)s"

9. 区分控制台与文件 Handler

  • console:INFO 以上,人眼看。
  • file:DEBUG 以上,自动 rotate。
  • error_file:ERROR 以上,单独报警。
handlers:
  console:
    class: logging.StreamHandler
    level: INFO
    formatter: standard
    stream: ext://sys.stdout

  file:
    class: logging.handlers.RotatingFileHandler
    level: DEBUG
    formatter: json
    filename: logs/app.log
    maxBytes: 50_000_000  # 50 MB
    backupCount: 5

10. 第三方库噪音治理

# 调低不关心的库
logging.getLogger("urllib3").setLevel(logging.WARNING)
logging.getLogger("matplotlib").setLevel(logging.WARNING)

11. 异常记录用 logger.exception

try:
  risky()
except Exception:
  logger.exception("handle order failed, order_id=%s", order_id)
  • 自动附带 traceback,省得手动 logger.error(e, exc_info=True)。

12. 在 async / 多进程场景

  • asyncio:用 asyncio.run() 时 logging 会沿用主线程配置,无需特殊处理。
  • multiprocessing:子进程需重新 dictConfig,否则 handler 会重复写同一文件导致错乱。可用 logging.handlers.QueueHandler + QueueListener 实现集中日志。

13. 单元测试时捕获日志

pytest 自带 caplog fixture,断言日志内容:

def test_invalid_user(caplog):
  create_user("bad#name")
  assert "invalid username" in caplog.text

14. 开发期小技巧

  • 临时把全局级别调到 DEBUG:
    python -m mypkg.main --log-level=DEBUG
    用 argparse 解析后 logging.getLogger().setLevel(args.log_level.upper())。
  • 对某个模块临时打开 DEBUG:
    logging.getLogger("mypkg.engine").setLevel(logging.DEBUG)

15. 一个完整示例目录

mypkg/
├─ __init__.py
├─ main.py
├─ engine.py
└─ logging.yml

logging.yml:

version: 1
disable_existing_loggers: false

formatters:
  standard:
    format: "%(asctime)s [%(levelname)s] %(name)s:%(lineno)d | %(message)s"
    datefmt: "%Y-%m-%d %H:%M:%S"
  json:
    (): pythonjsonlogger.jsonlogger.JsonFormatter

handlers:
  console:
    class: logging.StreamHandler
    level: INFO
    formatter: standard
    stream: ext://sys.stdout

  file:
    class: logging.handlers.RotatingFileHandler
    level: DEBUG
    formatter: json
    filename: logs/app.log
    maxBytes: 50_000_000
    backupCount: 5

loggers:
  "":
    level: DEBUG
    handlers: [console, file]

main.py

import logging.config, yaml
from engine import process

def setup_logging():
    with open("logging.yml") as f:
        logging.config.dictConfig(yaml.safe_load(f))

if __name__ == "__main__":
    setup_logging()
    process()

engine.py

import logging
logger = logging.getLogger(__name__)

def process():
    logger.info("start processing")
    try:
        1/0
    except ZeroDivisionError:
        logger.exception("unexpected zero")

总结

把日志当 API 设计:格式稳定、级别清晰、配置集中、敏感脱敏、可观测、可测试。

相关推荐

Python自动化——pytest常用插件详解

前言Pytest是Python的一种单元测试框架,与unittest相比,使用起来更简洁、效率更高,也是目前大部分使用python编写测试用例的小伙伴们的第一选择了。除了框架本身提供的功能外,Pyte...

全网最全pytest大型攻略,单元测试学这就够了

pytest是一款以python为开发语言的第三方测试,主要特点如下:比自带的unittest更简洁高效,兼容unittest框架支持参数化可以更精确的控制要测试的测试用例丰富的插件,已有30...

Python Logging 最佳实践(python logging配置)

Pythonlogging的“最佳实践”可以概括为一句话:让日志既能在开发时帮你排错,也能在生产里帮你定位问题,同时不给运维埋坑。下面给出一份可直接落地的checklist,分场景逐条说明。1....

Python单元测试框架对比(python中unittest框架)

一、核心框架对比特性unittest(标准库)pytest(主流第三方)nose2(unittest扩展)doctest(文档测试)安装Python标准库pipinstallpytestp...

如何使用Python进行单元测试(pycharm单元测试)

前言在我的日常工作中,我是一名专业程序员。我使用c++、c#和Javascript。我是一个开发团队的一员,他们使用单元测试来验证我们的代码是否按照它应该的方式工作。在本文中,我将通过讨论以下主题来研...

Python单元测试(pycharm单元测试)

1.单元测试概述1.1什么是单元测试单元测试(UnitTesting)是指对软件中的最小可测试单元进行检查和验证的过程。在Python中,最小单元通常指函数、方法或类。1.2单元测试的特性独立...

pytest框架之fixture测试夹具详解

前言大家晚上好呀,今天呢来和大家唠唠pytest中的fixtures夹具的详解,废话就不多说了咱们直接进入主题哈。一、fixture的优势pytest框架的fixture测试夹具就相当于unitte...

Pytest精髓Fixture功能实例!测试效率暴涨!

前言大家好!我们今天来学习Python测试框架中的最具特色的功能之一:Fixture。可以说,掌握了Fixture,你就掌握了Pytest的精髓。它不仅能让你的测试代码更简洁、更优雅、更易于...

Python最常见的170道面试题全解析答案(二)

60.请写一个Python逻辑,计算一个文件中的大写字母数量答:withopen(‘A.txt’)asfs:count=0foriinfs.read():ifi.isupper...

为什么python高手都爱用闭包?这个实时函数技巧绝了

杂谈我想很多人都玩过python的闭包,其中最有趣的部分应该就是装饰器了。但我想很多人应该没运用上闭包的特性——外部局部变量的存储。什么意思呢?其实就是当闭包引用外部的局部变量将会被存储起来,而不会随...

春节停车难?用Python找空车位(用python编写停车场停车收费)

【导语】今天这篇文章的选题非常贴近生活。营长生活在北京,深知开车出门最怕的就是堵车和找不到停车位。记得冬至那个周末,几个小伙伴滑雪回来找了一家饺子馆吃饺子,结果七拐八拐,好不容易才找到一个停车位。看到...

PYTHON数据分析必备知识(2)(python数据分析范例)

1.二分钟快速给项目添加日志信息"""给项目添加日志信息"""#导Python内置包importloggingimporttime...

春节回家!车位难求啊!看我用Python自动寻找空车位!

作者通过相机结合深度学习算法,基于Python语言建立一个高精度的停车位的通知系统,每当有新停车位时就会发短信提醒我。听起来好像很复杂,真的方便实用吗?但实际上所使用的工具都是现成的,只要将这些工...

“==”和“is”有什么区别?一个问题就能暴露你的Python水平

可能在网上你经常能看到关于这个问题的答案和解析,但是依然有很多刚开始学习Python的人,不了解这个问题,也不知道为什么问这个问题时会暴露自己是“菜鸟”,这个问题就是:“==”和“is”之间有什么...

Python条件语句怎么用(python中条件语句的用法)

if条件判断语句python语句是按固定顺序执行的,先执行前面的语句,再执行后面的语句。如果你像要程序按照你自己定制的流程执行,就需要用到流程控制的语句,最主要用到的是条件语句和循环语句。条件语句...