百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

PyYAML 实用的使用技巧

itomcoil 2025-05-23 17:49 17 浏览

作者:Reorx’s Forge

中文版:https://reorx.com/blog/python-yaml-tips-zh

英文版:Tips that may save you from the hell of PyYAML

YAML 是一个被广泛使用的数据序列化和配置语言,作为一个开发者,总是不免和它打交道。 但处理 YAML 文档,尤其是使用 PyYAML 的过程总是非常痛苦。

这篇文章分享我在 Python 下使用 PyYAML 的技巧和代码片段,并介绍几个相关的库。

注意:本文中的代码仅保证在 Python 3 下正常工作

总是使用 safe_load/safe_dump

PyYAML 的 load 函数可以构造任意 Python 对象(Pickle 协议),这意味着一次 load 可能导致任意 Python 函数被执行。

为了确保应用程序的安全性,尽量在任何情况下使用 yaml.safe_loadyaml.safe_dump

保留字段顺序

Python 3.7+ 中,dict keys 具备保留插入顺序的特性,所以通过 yaml.safe_load 得到的 dict,其 keys 顺序会与原始文件保持一致。

>>> import yaml
>>> text = """---
... c: 1
... b: 1
... d: 1
... a: 1
... """
>>> d = yaml.safe_load(text)
>>> d
{'c': 1, 'b': 1, 'd': 1, 'a': 1}
>>> list(d)
['c', 'b', 'd', 'a']

当把 dict 导出为 YAML 字符串时,为 yaml.safe_dump 传递 sort_keys=False 来保留 keys 的顺序。

>>> print(yaml.safe_dump(d))
a: 1
b: 1
c: 1
d: 1
>>> d['e'] = 1
>>> print(yaml.safe_dump(d, sort_keys=False))
c: 1
b: 1
d: 1
a: 1
e: 1

如果 Python 版本较低,或者你想确保代码能在更广泛的环境下工作,你可以使用 oyaml 库来代替 PyYAML 的 yaml 包。

>>> import oyaml as yaml
>>> d = yaml.safe_load(text)
>>> d
OrderedDict([('c', 1), ('b', 1), ('d', 1), ('a', 1)])
>>> d['e'] = 1
>>> print(yaml.safe_dump(d, sort_keys=False))
c: 1
b: 1
d: 1
a: 1
e: 1

优化列表项的缩进

默认情况下,PyYAML 输出的列表缩进与其父元素一致。

>>> d = {'a': [1, 2, 3]}
>>> print(yaml.safe_dump(d))
a:
- 1
- 2
- 3

这并不是很好的格式,根据 Ansible 和 HomeAssistant 等 YAML 书写规范,列表项应该缩进 2 空格。

这种格式也会对导致列表项不会被如 VSCode 等编辑器识别,进而无法使用编辑器的折叠功能。

要解决这个问题,使用如下代码片段,在代码中定义 IndentDumper class:

class IndentDumper(yaml.Dumper):
    def increase_indent(self, flow=False, indentless=False):
        return super(IndentDumper, self).increase_indent(flow, False)

然后将它传递给 yaml.dumpDumper 关键字参数。

>>> print(yaml.dump(d, Dumper=IndentDumper))
a:
  - 1
  - 2
  - 3

注意,yaml.safe_dump 由于有自己的 Dumper class,传递此参数会造成冲突。

输出可读的 UTF-8 字符

默认情况下,PyYAML 假设你希望输出的结果里只有 ASCII 字符。

>>> d = {'a': '你好'}
>>> print(yaml.safe_dump(d))
a: "\u4F60\u597D"

这会让输出结果非常难以阅读。

在 UTF-8 足够普及的今天,直接输出 UTF-8 字符是非常安全的。 因此我们可以将 allow_unicode=True 传入 yaml.safe_dump 使 PyYAML 将 Unicode 转换成 UTF-8 字符串。

>>> print(yaml.safe_dump(d, allow_unicode=True))
a: 你好

一些 YAML 相关的库

oyaml

Link: https://github.com/wimglenn/oyaml

正如上文中提到的,oyaml 是 yaml 包的替换品,使 dict keys 的顺序在 dump/load 的时候得以保留。

oyaml 是一个单文件库,只有 53 行代码,因此使用起来非常灵活,你可以直接把它的代码复制到自己的项目中,然后根据自己的需求进行修改。

strictyaml

Link: https://github.com/crdoconnor/strictyaml

有的人说 YAML 过于复杂和灵活,不是一个好的配置语言。但我认为这不是 YAML 的问题,而是使用方式的问题。如果我们限制程序只使用 YAML 的部分功能,YAML 其实可以变得像它设计的那般好用。

这就是 StrictYAML 的设计意图,它是一个类型安全的 YAML 解析器,实现了 YAML 规范说明中的一个子集 。

如果你对 YAML 的输入输出有较强的安全考虑,建议使用 StrictYAML 代替 PyYAML。

顺带一提的是,StrictYAML 的文档站有很多关于设计细节和配置语言思考的文章,非常值得一看。

ruamel.yaml

Link: https://yaml.readthedocs.io/en/latest/overview.html

ruamel.yaml 是 PyYAML 的一个分叉,于 2009 年发布并持续维护至今。

ruamel.yaml 的文档里详细说明了它和 PyYAML 的差异。 总体来说,ruamel.yaml 专注在 YAML 1.2 上,对一些语法进行了优化。

ruamel.yaml 最令我感兴趣的特性是输入输出的 “round-trip”,可以最大程度地保留输入源的原始格式。官方文档中的定义是这样的:

A round-trip is a YAML load-modify-save sequence and ruamel.yaml tries to preserve, among others:

comments

block style and key ordering are kept, so you can diff the round-tripped source

flow style sequences ( ‘a: b, c, d’) (based on request and test by Anthony Sottile)

anchor names that are hand-crafted (i.e. not of the formidNNN)

merges in dictionaries are preserved

如果你有尽可能保留原始格式的需求,建议使用 ruamel.yaml 代替 PyYAML。

在使用中我注意到 ruamel.yaml 的 safe load 方法 (YAML(typ='safe').load) 与 PyYAML 有些不同,它无法解析 flow style 的集合定义 (如 a: {"foo": "bar"}),这点没有在文档中提及,使用时须多加注意。

总结

YAML 有它好的地方和坏的地方。它易于阅读,初期的学习曲线非常平缓。 但 YAML 的规范说明非常复杂,不仅造成了使用中的混乱,也使不同语言的实现在很多细微的地方难以保持一致。

尽管有这些小毛病,YAML 仍然是我心中最好的配置语言。希望这篇文章所介绍的技巧能够帮助你避免问题,获得更好的开发和使用体验。

相关推荐

最强聚类模型,层次聚类 !!_层次聚类的优缺点

哈喽,我是小白~咱们今天聊聊层次聚类,这种聚类方法在后面的使用,也是非常频繁的~首先,聚类很好理解,聚类(Clustering)就是把一堆“东西”自动分组。这些“东西”可以是人、...

python决策树用于分类和回归问题实际应用案例

决策树(DecisionTrees)通过树状结构进行决策,在每个节点上根据特征进行分支。用于分类和回归问题。实际应用案例:预测一个顾客是否会流失。决策树是一种基于树状结构的机器学习算法,用于解决分类...

Python教程(四十五):推荐系统-个性化推荐算法

今日目标o理解推荐系统的基本概念和类型o掌握协同过滤算法(用户和物品)o学会基于内容的推荐方法o了解矩阵分解和深度学习推荐o掌握推荐系统评估和优化技术推荐系统概述推荐系统是信息过滤系统,用于...

简单学Python——NumPy库7——排序和去重

NumPy数组排序主要用sort方法,sort方法只能将数值按升充排列(可以用[::-1]的切片方式实现降序排序),并且不改变原数组。例如:importnumpyasnpa=np.array(...

PyTorch实战:TorchVision目标检测模型微调完

PyTorch实战:TorchVision目标检测模型微调完整教程一、什么是微调(Finetuning)?微调(Finetuning)是指在已经预训练好的模型基础上,使用自己的数据对模型进行进一步训练...

C4.5算法解释_简述c4.5算法的基本思想

C4.5算法是ID3算法的改进版,它在特征选择上采用了信息增益比来解决ID3算法对取值较多的特征有偏好的问题。C4.5算法也是一种用于决策树构建的算法,它同样基于信息熵的概念。C4.5算法的步骤如下:...

Python中的数据聚类及可视化分析实践

探索如何通过聚类分析揭露糖尿病预测数据集的特征!我们将运用Python的强力工具,深入挖掘数据,以直观的可视化揭示不同特征间的关系。一同探索聚类分析在糖尿病预测中的实践!所有这些可视化都可以通过数据操...

用Python来统计大乐透号码的概率分布

用Python来统计大乐透号码的概率分布,可以按照以下步骤进行:导入所需的库:使用Python中的numpy库生成数字序列,使用matplotlib库生成概率分布图。读取大乐透历史数据:从网络上找到大...

python:支持向量机监督学习算法用于二分类和多分类问题示例

监督学习-支持向量机(SVM)支持向量机(SupportVectorMachine,简称SVM)是一种常用的监督学习算法,用于解决分类和回归问题。SVM的目标是找到一个最优的超平面,将不同类别的...

25个例子学会Pandas Groupby 操作

groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组,分组后的数据可以计算生成组的聚合值。如果我们有一个包含汽车品牌和价格信息的数据集,那么可以...

数据挖掘流程_数据挖掘流程主要有哪些步骤

数据挖掘流程1.了解需求,确认目标说一下几点思考方法:做什么?目的是什么?目标是什么?为什么要做?有什么价值和意义?如何去做?完整解决方案是什么?2.获取数据pandas读取数据pd.read.c...

使用Python寻找图像最常见的颜色_python 以图找图

如果我们知道图像或对象最常见的是哪种颜色,那么可以解决图像处理中的几个用例,例如在农业领域,我们可能需要确定水果的成熟度。我们可以简单地检查一下水果的颜色是否在预定的范围内,看看它是成熟的,腐烂的,还...

财务预算分析全网最佳实践:从每月分析到每天分析

原文链接如下:「链接」掌握本文的方法,你就掌握了企业预算精细化分析的能力,全网首发。数据模拟稍微有点问题,不要在意数据细节,先看下最终效果。在编制财务预算或业务预算的过程中,通常预算的所有数据都是按月...

常用数据工具去重方法_数据去重公式

在数据处理中,去除重复数据是确保数据质量和分析准确性的关键步骤。特别是在处理多列数据时,保留唯一值组合能够有效清理数据集,避免冗余信息对分析结果的干扰。不同的工具和编程语言提供了多种方法来实现多列去重...

Python教程(四十):PyTorch深度学习-动态计算图

今日目标o理解PyTorch的基本概念和动态计算图o掌握PyTorch张量操作和自动求导o学会构建神经网络模型o了解PyTorch的高级特性o掌握模型训练和部署PyTorch概述PyTorc...