百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Python之Pandas使用系列(八):读写Excel文件的各种技巧

itomcoil 2025-05-10 22:32 2 浏览

介绍:

我们将学习如何使用Python操作Excel文件。我们将概述如何使用Pandas加载xlsx文件以及将电子表格写入Excel。

如何将Excel文件读取到Pandas DataFrame:

和前面的章节一样,在使用Pandas时,我们必须从导入模块开始:

import pandas as pd

使用read_excel的最简单方法是将文件名作为字符串传递。如果我们不传递任何其他参数(例如工作表名称),它将读取索引中的第一张sheet。在第一个示例中,我们将不使用任何参数:

在这里,Pandas的read_excel方法将数据从Excel文件读取到Pandas DataFrame对象中。然后,我们将此 DataFrame存储到名为df的变量中。

默认情况下,当使用read_excel时,Pandas将为 DataFrame分配一个数字索引或行标签,并且当int出现在Python中时,Pandas通常会从零开始。

例如,如果您的数据没有包含唯一值的列,则可以用作更好的索引。如果有一列可以用作更好的索引,我们可以覆盖默认行为。

可以通过将index_col参数来创建一个索引。

使用read_excel读取特定列

使用Pandas read_excel时,我们将自动从Excel文件中获取所有列。如果由于某种原因我们不想解析Excel文件中的所有列,则可以使用参数 usecols。假设我们只想创建一个具有ID, Address, Name列的 DataFrame 。我们可以如下文成:

根据read_excel文档,我们应该可以放入一个字符串。例如,cols =‘Address:Name‘应该给我们与上面相同的结果。

读取Excel文件时如何跳过行

现在,我们将学习在使用Pandas加载Excel文件时如何跳过行。读取的excel示例如下:

在下面的Pandas read_excel示例中,我们加载工作表" examples",其中包含我们需要跳过的行。

我们将使用参数sheet_name =' examples'读取名为' examples''的工作表。请注意,如果我们不使用sheet_name参数,则会读取第一张sheet。在此示例中,重要的部分是参数 skiprow = 2。我们使用它跳过前两行:

我们可以使用header 参数获得与上述相同的结果 。将使用参数 header = 1告诉Pandas read_excel我们的标题在第二行。


将多个Excel工作表读取到Pandas DataFrame

在Pandas read_excel中,我们将学习如何阅读多个sheets。我们的Excel文件example_sheets1.xlsx'具有两张表:" Sheet1"和" Sheet2"。我们将读入" Sheet1"和" Sheet2"这两个sheet:

或者可以将参数sheet_name设置为 None。

合并Dataframe

使用Pandas read_excel时,可能希望合并所有工作表中的数据。合并DataFrame非常容易。我们只使用concat函数并遍历工作表:

读取许多Excel文件

在某些情况下,我们可能有很多Excel文件包含来自不同实验的数据。在Python中,我们可以使用模块os和fnmatch来读取目录中的所有文件。最后,我们使用列表推导对找到的所有文件使用read_excel:

import os, fnmatch
xlsx_files = fnmatch.filter(os.listdir('.'), '*concat*.xlsx')
dfs = [pd.read_excel(xlsx_file) for xlsx_file in xlsx_files]

如果没有问题,我们可以再次使用concat函数合并 DataFrame:

df = pd.concat(dfs, sort=False)

还有其他方法可以读取许多Excel文件并将其合并。例如,我们可以将模块glob与Pandas concat一起使用以读取多个xlss文件:

import glob
list_of_xlsx = glob.glob('./*concat*.xlsx') 
df = pd.concat(list_of_xlsx)

设置数据或列的数据类型

如果愿意,我们还可以设置列的数据类型。让我们使用Pandas再次读取examples.xlsx。在read_excel例子下面我们使用ID型参数来设置的某些列的数据类型。

将DataFrame写入Excel

当然,可以使用Pandas模块在Python中创建Excel文件。我们将首先创建一个带有一些变量的 DataFrame,但首先,我们将导入Pandas模块:

import pandas as pd

下一步是创建 DataFrame。我们将使用字典创建 DataFrame。键将是列名,值将是包含我们的数据的列表:

df = pd. DataFrame({'Names':['Andreas', 'George', 'Steve',
 'Sarah', 'Joanna', 'Hanna'],
 'Age':[21, 22, 20, 19, 18, 23]})

然后,我们使用" to_excel "方法将 DataFrame写入Excel文件。在下面的Pandas to_excel示例中,我们不使用任何参数。

df.to_excel(output.xlsx')

如果不使用参数 sheet_name,则将 获得默认的工作表名称" Sheet1"。我们还可以看到我们在Excel文件中获得了一个包含数字的新列。这些是 DataFrame的索引。

如果我们希望将工作表命名为其他名称,并且不希望索引列,则可以执行以下操作:

df.to_excel(output.xlsx', sheet_name='examples, index=False)

将多个熊猫 DataFrame写入Excel文件:

如果碰巧有很多 DataFrame要存储在一个Excel文件中,但要存储在不同的工作表中,则可以轻松地做到这一点。但是,我们现在需要使用ExcelWriter:

df1 = pd. DataFrame({'Names': ['Andreas', 'George', 'Steve',
 'Sarah', 'Joanna', 'Hanna'],
 'Age':[21, 22, 20, 19, 18, 23]})
df2 = pd. DataFrame({'Names': ['Pete', 'Jordan', 'Gustaf',
 'Sophie', 'Sally', 'Simone'],
 'Age':[22, 21, 19, 19, 29, 21]})
df3 = pd. DataFrame({'Names': ['Ulrich', 'Donald', 'Jon',
 'Jessica', 'Elisabeth', 'Diana'],
 'Age':[21, 21, 20, 19, 19, 22]})
dfs = {'Group1':df1, 'Group2':df2, 'Group3':df3}
writer = pd.ExcelWriter('NamesAndAges.xlsx', engine='xlsxwriter')for sheet_name in dfs.keys():
 dfs[sheet_name].to_excel(writer, sheet_name=sheet_name, index=False)
 
writer.save()

在上面的代码中,我们创建了3个 DataFrame,然后将它们放入Dict中。注意,key是sheet名称,单元格名称是 DataFrame。完成此操作后,我们使用xlsxwriter创建writer对象。然后,我们继续遍历键(即工作表名称)并添加每个工作表。最后,文件被保存。

总结:

当然,还有其他存储数据的方法。其中之一是使用JSON文件。后面我们会继续介绍如何使用Pandas读取和写入JSON文件。

点击关注,如果发现任何不正确的地方,或者想分享有关上述主题的更多信息,欢迎反馈。

相关推荐

Python办公自动化系列篇之一:电子表格自动化(EXCEL)

作为高效办公自动化领域的主流编程语言,Python凭借其优雅的语法结构、完善的技术生态及成熟的第三方工具库集合,已成为企业数字化转型过程中提升运营效率的理想选择。该语言在结构化数据处理、自动化文档生成...

Python解决读取excel数据慢的问题

前言:在做自动化测试的时候,我思考了一个问题,就是如果我们的测试用例随着项目的推进越来越多时,我们做自动化回归的时间也就越来越长,其中影响自动化测试速度的一个原因就是测试用例的读取问题。用例越多,所消...

Python高效办公:用自动化脚本批量处理Excel

在现代办公环境中,Excel是处理数据的必备工具,但手动操作往往耗时且容易出错。幸运的是,Python提供了强大的库,如`openpyxl`和`pandas`,能够帮助我们高效地自动化处理Exc...

【第三弹】用Python实现Excel的vlookup功能

今天继续用pandas实现Excel的vlookup功能,假设我们的2个表长成这样:我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说,先上代码:importpandasaspd...

学习Pandas中操作Excel,看这一篇文章就够了

在数据分析和处理领域,Excel文件是常见的数据存储格式之一。Pandas库提供了强大的功能来读取、处理和写入Excel文件。本文将详细介绍如何使用Pandas操作Excel文件,包括读取、数据清洗、...

python学习笔记之pandas读取excel出现的列表显示不全问题

今天小编想改正一个表格,按照之前学习的首先导入模块importpandas读取目标excel文件data=pandas.read_excel("C:\\Users\\27195\\Des...

使用Python玩转Excel(python-excel)

Python读取Excel文件的方法主要有以下几种:Pandas库:Pandas是一个强大的数据处理库,它提供了方便的方法来读取和处理Excel文件。优点:Pandas是一个非常强大的数...

Python和Excel已经互通了,还不赶紧来学习一下

Excel是数据分析中最常用的工具,这篇文章将Python与Excel的功能对比介绍如何使用Python通过函数式编程完成Excel中的数据处理及分析工作。在Python中pandas库用于数据处理,...

python读excel文件最佳实践?直接请教pandas比gpt还好用

前言说到python读取excel文件,网上使用openpyxl的文章一大堆。我自己很少直接使用openpyxl,一般使用pandas间接使用。但如果你不希望引入pandas,该如...

用python实现execl表格内容的数据分析与处理

可以使用Python中的pandas库来处理Excel表格数据。以下是一个简单的例子:首先,安装pandas库:```pipinstallpandas```然后,读取Excel文件:```impo...

从入门到精通:Python处理Excel文件的实用技巧

在数据分析和处理的过程中,Excel是一种广泛使用的数据存储和交换格式。Python提供了多个强大的库来处理Excel文件,如pandas、openpyxl和xlrd等。本文将详细介绍...

Python自动化-Excel:pandas之concat

concatimportpandasaspds1=pd.Series([0,1,2],index=['A','B','C'])s2=p...

Python之Pandas使用系列(八):读写Excel文件的各种技巧

介绍:我们将学习如何使用Python操作Excel文件。我们将概述如何使用Pandas加载xlsx文件以及将电子表格写入Excel。如何将Excel文件读取到PandasDataFrame:和前面的...

Python操作Excel详细教程,值得收藏

Python操作Excel是一个非常强大的工具,它可以方便地处理Excel文件,例如读取、写入、格式化单元格等。以下是使用Python操作Excel的详细教程,以Excel文件名为example.xl...

python中pandas读取excel单列及连续多列数据

案例:想获取test.xls中C列、H列以后(当H列后列数未知时)的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...