带你玩转数据分析-如何使用Python进行数据清洗?
itomcoil 2025-05-30 15:11 18 浏览
在上篇分享中，我们介绍了如何导入输入，如何对数据进行查看。这篇分享主要为大家介绍关于如何使用Python对Excel表格中的数据进行清洗。包括对于空值数据、大小写问题、数据格式、重复值等问题处理。
如何对空数据进行处理？
用于演示的数据如下图所示。
会看到，在语文科目下存在空值内容，那么我们先来看看获取到的数据情况。如下图所示，通过打印df的效果。看到空值是使用了NaN进行了填充判断。
在Excel中通过查找替换的方式可以实现对空值数据的处理，那么在Python中如何对数据进行处理呢？
对空数据进行删除操作
在Python中可以通过dropna函数来删除数据表中包含空值的字段内容。如下图所示。
从输出结果来看，确实在数据中包含了空值的行被删除了，打印出来的内容都是存在数据值的内容字段。
对空数据进行填充
除了对数据进行删除之外，还可以通过fillna函数操作来对空值进行填充。如下图所示
在上面代码中，我们通过df.fillna(1)操作对数据为空的字段进行了默认填充1的操作。输出结果图所示。
空格清理操作
除了空值的操作，字符中的空格也是在数据清洗中需要处理的问题，可以通过如下的操作来进行空格的处理，下面这个操作是用来处理姓名字段中的空格。
df['姓名'].map(str.strip)大小写的转换
在Python中通过 upper()、lower()函数来进行大小写的转换。如下图所示，可以看到在地址数据中出现了很多拼音数据，并且都是以小写的内容来展示。
我们可以通过upper()函数将其转换成大写。如下图所示，当然我们也可以通过lower()函数将大写转换成小写。
修改数据格式
在Excel表格中，我们可以通过设置单元格格式来修改数据的格式，在Python中，可以通过astype函数来完成对于单元格数据格式的修改。
这里先来修改一下数学成绩。
从图中可以看到，在没有进行修改之前，数学成绩的值是int64的，而经过修改之后数学成绩值为int32了。
删除重复数据值
可以看到，在数学成绩中，存在多个95分的数据，在Excel操作中可以通过删除重复数据的操作来实现，并且默认保留的实最先出现的数据，删除掉的是后续出现的数据。
在Python中可以通过drop_duplicates()函数来删除重复数据。
可以看到，drop_duplicates函数确实删除了重复数据，并且其规则也是与Excel的删除操作一样，保留了第一次出现的数据，删除后续出现的重复数据。
当然，我们可以通过 设置keep=last参数来设置保留规则，设置之后结果与默认情况正好相反。
数据的修改与替换
在上面空值数据处理的时候我们介绍了一个fillna()函数，来对空值添加默认值，这里我们来介绍一个replace函数用来实现数据的查找替换。这里我们演示将数学成绩95分替换成0分的操作。
会看到输出结果数据并没有得到替换，这是为什么呢？因为在进行数据处理的时候需要考虑到数据类型，由于这里我们的数学成绩是int64的类型，所以在进行操作替换的时候需将字符类型的数据设置成int类型，如下图所示。
总结
上面我们介绍了对于数据的基础处理，对于重复值处理、查找替换等操作。相比较与Excel操作来讲Python操作更加简单高效。下一篇分享给大家带来关于数据的预处理操作。
相关推荐
- selenium(WEB自动化工具)
-
定义解释Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaF...
- 开发利器丨如何使用ELK设计微服务中的日志收集方案?
-
【摘要】微服务各个组件的相关实践会涉及到工具，本文将会介绍微服务日常开发的一些利器，这些工具帮助我们构建更加健壮的微服务系统，并帮助排查解决微服务系统中的问题与性能瓶颈等。我们将重点介绍微服务架构中...
- 高并发系统设计:应对每秒数万QPS的架构策略
-
当面试官问及"如何应对每秒几万QPS(QueriesPerSecond)"时，大概率是想知道你对高并发系统设计的理解有多少。本文将深入探讨从基础设施到应用层面的解决方案。01、理解...
- 2025 年每个 JavaScript 开发者都应该了解的功能
-
大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发。1.Iteratorhelpers开发者...
- JavaScript Array 对象
-
Array对象Array对象用于在变量中存储多个值:varcars=["Saab","Volvo","BMW"];第一个数组元素的索引值为0，第二个索引值为1，以此类推。更多有...
- Gemini 2.5编程全球霸榜，谷歌重回AI王座，神秘模型曝光，奥特曼迎战
-
刚刚，Gemini2.5Pro编程登顶，6美元性价比碾压Claude3.7Sonnet。不仅如此，谷歌还暗藏着更强的编程模型Dragontail，这次是要彻底翻盘了。谷歌，彻底打了一场漂亮的翻...
- 动力节点最新JavaScript教程(高级篇)，深入学习JavaScript
-
JavaScript是一种运行在浏览器中的解释型编程语言，它的解释器被称为JavaScript引擎，是浏览器的一部分，JavaScript广泛用于浏览器客户端编程，通常JavaScript脚本是通过嵌...
- 一文看懂Kiro，其 Spec工作流秒杀Cursor，可移植至Claude Code
-
当Cursor的“即兴编程”开始拖累项目质量，AWS新晋IDEKiro以Spec工作流打出“先规范后编码”的系统工程思维：需求-设计-任务三件套一次生成，文档与代码同步落地，复杂项目不...
- 「晚安·好梦」努力只能及格，拼命才能优秀
-
欢迎光临，浏览之前点击上面的音乐放松一下心情吧！喜欢的话给小编一个关注呀！Effortscanonlypass,anddesperatelycanbeexcellent.努力只能及格...
- JavaScript 中 some 与 every 方法的区别是什么?
-
大家好，很高兴又见面了，我是姜茶的编程笔记，我们一起学习前端相关领域技术，共同进步，也欢迎大家关注、点赞、收藏、转发，您的支持是我不断创作的动力在JavaScript中，Array.protot...
- 10个高效的Python爬虫框架，你用过几个?
-
小型爬虫需求，requests库+bs4库就能解决；大型爬虫数据，尤其涉及异步抓取、内容管理及后续扩展等功能时，就需要用到爬虫框架了。下面介绍了10个爬虫框架，大家可以学习使用！1.Scrapysc...
- 12个高效的Python爬虫框架，你用过几个?
-
实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实...
- pip3 install pyspider报错问题解决
-
运行如下命令报错:>>>pip3installpyspider观察上面的报错问题，需要安装pycurl。是到这个网址:http://www.lfd.uci.edu/~gohlke...
- PySpider框架的使用
-
PysiderPysider是一个国人用Python编写的、带有强大的WebUI的网络爬虫系统，它支持多种数据库、任务监控、项目管理、结果查看、URL去重等强大的功能。安装pip3inst...
- 「机器学习」神经网络的激活函数、并通过python实现激活函数
-
神经网络的激活函数、并通过python实现whatis激活函数感知机的网络结构如下：左图中，偏置b没有被画出来，如果要表示出b，可以像右图那样做。用数学式来表示感知机：上面这个数学式子可以被改写：...
- 一周热门
- 最近发表
- 标签列表
-
- ps图案在哪里 (33)
- super().__init__ (33)
- python 获取日期 (34)
- 0xa (36)
- super().__init__()详解 (33)
- python安装包在哪里找 (33)
- linux查看python版本信息 (35)
- python怎么改成中文 (35)
- php文件怎么在浏览器运行 (33)
- eval在python中的意思 (33)
- python安装opencv库 (35)
- python div (34)
- sticky css (33)
- python中random.randint()函数 (34)
- python去掉字符串中的指定字符 (33)
- python入门经典100题 (34)
- anaconda安装路径 (34)
- yield和return的区别 (33)
- 1到10的阶乘之和是多少 (35)
- python安装sklearn库 (33)
- dom和bom区别 (33)
- js 替换指定位置的字符 (33)
- python判断元素是否存在 (33)
- sorted key (33)
- shutil.copy() (33)