评论

Python和Excel的完美结合:常用操作汇总(案例详析)

原标题:Python和Excel的完美结合:常用操作汇总(案例详析)

来自:简书,作者:廖致君

链接:https://www.jianshu.com/p/9bc9f473dd22

其实python和Excel的使用准则一样,都是[We don't repeat ourselves],都是尽可能用更方便的操作替代机械操作和纯体力劳动。

用python做数据分析,离不开著名的pandas包,经过了很多版本的迭代优化,pandas现在的生态圈已经相当完整了,官网还给出了它和其他分析工具的对比:

本文用的主要也是pandas,绘图用的库是plotly,实现的Excel的常用功能有:

  • Python和Excel的交互
  • vlookup函数
  • 数据透视表
  • 绘图

以后如果发掘了更多Excel的功能,会回来继续更新和补充。开始之前,首先按照惯例加载pandas包:

importnumpy asnp importpandas aspd pd.set_option( 'max_columns', 10) pd.set_option( 'max_rows', 20) pd.set_option( 'display.float_format', lambdax: '%.2f'% x) # 禁用科学计数法

Python和Excel的交互

pandas里最常用的和Excel I/O有关的四个函数是read_csv/ read_excel/ to_csv/ to_excel,它们都有特定的参数设置,可以定制想要的读取和导出效果。

比如说想要读取这样一张表的左上部分:

可以用pd.read_excel("test.xlsx", header=1, nrows=17, usecols=3),返回结果:

df Out[]: 工号姓名 性别 部门 0A0001 张伟 男 工程 1A0002 王秀英 女 人事 2A0003 王芳 女 行政 3A0004 郑勇 男 市场 4A0005 张丽 女 研发 5A0006 王艳 女 后勤 6A0007 李勇 男 市场 7A0008 李娟 女 工程 8A0009 张静 女 人事 9A0010 王磊 男 行政 10A0011 李娜 女 市场 11A0012 刘诗雯 女 研发 12A0013 王刚 男 后勤 13A0014 叶倩 女 后勤 14A0015 金雯雯 女 市场 15A0016 王超杰 男 工程 16A0017 李军 男 人事

输出函数也同理,使用多少列,要不要index,标题怎么放,都可以控制。

vlookup函数

vlookup号称是Excel里的神器之一,用途很广泛,下面的例子来自豆瓣,VLOOKUP函数最常用的10种用法,你会几种?

案例一

问题:A3:B7单元格区域为字母等级查询表,表示60分以下为E级、60~69分为D级、70~79分为C级、80~89分为B级、90分以上为A级。D:G列为初二年级1班语文测验成绩表,如何根据语文成绩返回其字母等级?

python实现:

df= pd.read_excel("test.xlsx", sheet_name=0) defgrade_to_point(x): ifx >= 90: return'A' elifx >= 80: return'B' elifx >= 70: return'C' elifx >= 60: return'D' else: return'E'

df['等级']= df['语文'].apply(grade_to_point)df

Out[]: 学号姓名 性别 语文 等级0101 王小丽 女 69 D1102 王宝勤 男 85 B2103 杨玉萍 女 49 E3104 田东会 女 90 A4105 陈雪蛟 女 73 C5106 杨建丰 男 42 E6107 黎梅佳 女 79 C7108 张兴 男 91 A8109 马进春 女 48 E9110 魏改娟 女 100 A10111 王冰研 女 64 D

案例二

问题:在Sheet1里面如何查找折旧明细表中对应编号下的月折旧额?(跨表查询)

python实现:使用merge将两个表按照编号连接起来就行

df1= pd.read_excel( "test.xlsx", sheet_name= '折旧明细表') df2 = pd.read_excel( "test.xlsx", sheet_name= 1) #题目里的sheet1df2.merge(df1[[ '编号', '月折旧额']], how= 'left', on= '编号') Out[]: 编号 资产名称 月折旧额0YT001 电动门 13991YT005 桑塔纳轿车 11472YT008 打印机 51

案例三

问题:类似于案例二,但此时需要使用近似查找

python实现:这个比起上一个要麻烦一些,需要用到一些pandas的使用技巧

df1 = pd.read_excel( "test.xlsx", sheet_name= '折旧明细表') df3 = pd.read_excel( "test.xlsx", sheet_name= 3) #含有资产名称简写的表df3[ '月折旧额'] = 0fori inrange(len(df3[ '资产名称'])): df3[ '月折旧额'][i] = df1[df1[ '资产名称'].map( lambdax:df3[ '资产名称'][i] inx)][ '月折旧额']

df3Out[]: 资产名称 月折旧额0电动 13991货车 24382惠普 1323交联 101334桑塔纳 11475春兰 230

案例四

问题:在Excel中录入数据信息时,为了提高工作效率,用户希望通过输入数据的关键字后,自动显示该记录的其余信息,例如,输入员工工号自动显示该员工的信命,输入物料号就能自动显示该物料的品名、单价等。

如图所示为某单位所有员工基本信息的数据源表,在“2010年3月员工请假统计表”工作表中,当在A列输入员工工号时,如何实现对应员工的姓名、身份证号、部门、职务、入职日期等信息的自动录入?

python实现:上面的Excel的方法用得很灵活,但是pandas的想法和操作更简单方便些

df4= pd.read_excel( "test.xlsx", sheet_name= '员工基本信息表') df5 = pd.read_excel( "test.xlsx", sheet_name= '请假统计表') df5.merge(df4[[ '工号', '姓名', '部门', '职务', '入职日期']], on= '工号') Out[]: 工号 姓名 部门 职务 入职日期0A0004 龚梦娟 后勤 主管 2006- 11- 201A0003 赵敏 行政 文员 2007- 02- 162A0005 黄凌 研发 工程师 2009- 01- 143A0007 王维 人事 经理 2006- 07- 244A0016 张君宝 市场 工程师 2007- 08- 145A0017 秦羽 人事 副经理 2008- 03- 06

案例五

问题:用VLOOKUP函数实现批量查找,VLOOKUP函数一般情况下只能查找一个,那么多项应该怎么查找呢?如下图,如何把张一的消费额全部列出?

python实现:vlookup函数有两个不足(或者算是特点吧),一个是被查找的值一定要在区域里的第一列,另一个是只能查找一个值,剩余的即便能匹配也不去查找了,这两点都能通过灵活应用if和indirect函数来解决,不过pandas能做得更直白一些。

df6 = pd.read _excel("test.xlsx", sheet_name='消费额') df6[ df6['姓名'] == '张一'][['姓名', '消费额']] Out[]: 姓名 消费额0 张一 1002 张一 3004 张一 1000

数据透视表

问题:需要汇总各个区域,每个月的销售额与成本总计,并同时算出利润

通过Excel的数据透视表的操作最终实现了下面这样的效果:

python实现:对于这样的分组的任务,首先想到的就是pandas的groupby,代码写起来也简单,思路就是把刚才Excel的点鼠标的操作反映到代码命令上:

df = pd.read_excel( 'test.xlsx', sheet_name= '销售统计表') df[ '订购月份'] = df[ '订购日期'].apply(lambda x:x.month) df2 = df.groupby([ '订购月份', '所属区域'])[[ '销售额', '成本']].agg( 'sum') df2[ '利润'] = df2[ '销售额'] - df2[ '成本'] df2

Out[]: 销售额 成本 利润订购月份 所属区域 1南京 134313.6194967.8439345.77常熟 177531.47163220.0714311.40无锡 316418.09231822.2884595.81昆山 159183.35145403.3213780.03苏州 287253.99238812.0348441.962南京 187129.13138530.4248598.71常熟 154442.74126834.3727608.37无锡 464012.20376134.9887877.22昆山 102324.4686244.5216079.94苏州 105940.3491419.5414520.80... ... ...11南京 286329.88221687.1164642.77常熟 2118503.541840868.53277635.01无锡 633915.41536866.7797048.64昆山 351023.24342420.188603.06苏州 1269351.391144809.83124541.5612南京 894522.06808959.3285562.74常熟 324454.49262918.8161535.68无锡 1040127.19856816.72183310.48昆山 1096212.75951652.87144559.87苏州 347939.30302154.2545785.05

[ 60 rows x 3 columns]

也可以使用pandas里的pivot_table函数来实现:

df3 = pd.pivot_table(df, values=[ '销售额', '成本'], index=[ '订购月份', '所属区域'] , aggfunc= 'sum') df3[ '利润'] = df3[ '销售额'] - df3[ '成本'] df3

Out[]: 成本 销售额 利润订购月份 所属区域 1南京 94967.84134313.6139345.77常熟 163220.07177531.4714311.40无锡 231822.28316418.0984595.81昆山 145403.32159183.3513780.03苏州 238812.03287253.9948441.962南京 138530.42187129.1348598.71常熟 126834.37154442.7427608.37无锡 376134.98464012.2087877.22昆山 86244.52102324.4616079.94苏州 91419.54105940.3414520.80... ... ...11南京 221687.11286329.8864642.77常熟 1840868.532118503.54277635.01无锡 536866.77633915.4197048.64昆山 342420.18351023.248603.06苏州 1144809.831269351.39124541.5612南京 808959.32894522.0685562.74常熟 262918.81324454.4961535.68无锡 856816.721040127.19183310.48昆山 951652.871096212.75144559.87苏州 302154.25347939.3045785.05

[ 60rowsx 3columns]

pandas的pivot_table的参数index/ columns/ values和Excel里的参数是对应上的(当然,我这话说了等于没说,数据透视表里不就是行/列/值吗还能有啥。)

但是我个人还是更喜欢用groupby,因为它运算速度非常快。我在打kaggle比赛的时候,有一张表是贷款人的行为信息,大概有2700万行,用groupby算了几个聚合函数,几秒钟就完成了。

groupby的功能很全面,内置了很多aggregate函数,能够满足大部分的基本需求,如果你需要一些其他的函数,可以搭配使用apply和lambda。

不过pandas的官方文档说了,groupby之后用apply速度非常慢,aggregate内部做过优化,所以很快,apply是没有优化的,所以建议有问题先想想别的方法,实在不行的时候再用apply。

我打比赛的时候,为了生成一个新变量,用了groupby的apply,写了这么一句:ins['weight'] = ins[['SK_ID_PREV''DAYS_ENTRY_PAYMENT']].groupby('SK_ID_PREV').apply(lambda x: 1-abs(x)/x.sum.abs).iloc[:,1],1000万行的数据,足足算了十多分钟,等得我心力交瘁。

绘图

因为Excel画出来的图能够交互,能够在图上进行一些简单操作,所以这里用的python的可视化库是plotly,案例就用我这个学期发展经济学课上的作业吧,当时的图都是用Excel画的,现在用python再画一遍。开始之前,首先加载plotly包。

importplotly.offline asoff importplotly.graph_objs asgo off.init_notebook_mode

柱状图

当时用Excel画了很多的柱状图,其中的一幅图是

下面用plotly来画一下

df= pd.read_excel("plot.xlsx", sheet_name='高等教育入学率')trace1= go.Bar(x= df['国家'],y= df[1995],name= '1995',opacity= 0.6,marker= dict(color= 'powderblue'))

trace2= go.Bar(x= df['国家'],y= df[2005],name= '2005',opacity= 0.6,marker= dict(color= 'aliceblue',))

trace3= go.Bar(x= df['国家'],y= df[2014],name= '2014',opacity= 0.6,marker= dict(color= 'royalblue'))

layout= go.Layout(barmode='group')data= [trace1, trace2, trace3]fig= go.Figure(data, layout)off.plot(fig)

雷达图

用Excel画的:

用python画的:

df= pd.read_excel('plot.xlsx', sheet_name='政治治理')theta= df.columns.tolisttheta.append(theta[0])names= df.indexdf['']= df.iloc[:,0]df= np.array(df)

trace1= go.Scatterpolar(r= df[0],theta= theta,name= names[0])

trace2= go.Scatterpolar(r= df[1],theta= theta,name= names[1])

trace3= go.Scatterpolar(r= df[2],theta= theta,name= names[2])

trace4= go.Scatterpolar(r= df[3],theta= theta,name= names[3])

data= [trace1, trace2, trace3, trace4]layout= go.Layout(polar= dict(radialaxis= dict(visible= True,range= [0,1])),showlegend= True)fig= go.Figure(data, layout)off.plot(fig)

画起来比Excel要麻烦得多。

总体而言,如果画简单基本的图形,用Excel是最方便的,如果要画高级一些的或者是需要更多定制化的图形,使用python更合适。

--- EOF ---

推荐↓↓↓返回搜狐,查看更多

责任编辑:

平台声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
大家都在看
推荐阅读