Python和Excel的完美结合:常用操作汇总(案例详析)转载
原创点击上面的“素食”,点击上面的“素食研究”,点击上面的“烹饪”Python“,选择”明星“公共号码”,选择“明星”公共号码“,选择”明星“公共号码
超级无敌干货,先送到!超级无与伦比的干货,首发!
大家好,我是菜鸟兄弟。大家好,我是菜鸟兄弟。大家好,我是菜鸟兄弟。大家好,我是菜鸟兄弟。
在过去,商业分析的对应英文单词是Business Analysis人们使用的分析工具是人们使用的分析工具是每个人使用的分析工具是每个人使用的分析工具Excel后来,数据量变得更大。后来,数据量变得很大。Excel不堪重负(再也无法应付(再也无法应付了)Excel支持的最大行数是支持的最大行数是支持的最大行数是1048576人们开始转向队伍,人们开始转向队伍),人们开始转向队伍python和R这样的分析工具现在已经可用,此时对应的业务分析词是Business Analytics。
其实python和Excel使用相同的指南[We dont repeat ourselves]该公司的目标是尽可能用更方便的操作取代机械操作和纯手工操作。
用python做数据分析离不开著名的pandas包中,在经过多次迭代优化之后,pandas生态系统现在相当完整,官方网站提供了它与其他分析工具的比较,网址为
本文主要使用也主要使用本文主要使用也主要使用pandas用于绘图的库是用于绘图的库是用于绘图的库是plotly,实现的Excel共同功能的共同功能的共同功能
-
Python和Excel的交互
-
vlookup函数
-
数据透视表透视表透视表
-
绘图
如果你在未来发现更多,如果我们发现更多Excel这些功能将回来进行进一步的更新和添加。在我们开始之前,首先加载惯常的pandas包:
import numpy as np
import pandas as pd
pd.set_option(max_columns, 10)
pd.set_option(max_rows, 20)
pd.set_option(display.float_format, lambda x: %.2f % x) # 禁用科学计数法禁止使用科学计数法
Python和Excel的交互
pandas最常用、最常用和最常用的Excel I/O所讨论的四个功能是涉及的四个功能是四个相关的功能是感兴趣的四个功能是read_csv/ read_excel/ to_csv/ to_excel它们都具有特定的参数设置,以自定义所需的阅读和导出效果。
假设您想要阅读表格的左上角部分,如下所示。
可以用pd.read_excel("test.xlsx", header=1, nrows=17, usecols=3),返回结果。返回以下结果。这将返回以下结果。这将返回以下结果。
df
Out[]:
工号 姓名 性别 部门
0 A0001 张伟 男 工程
1 A0002 王秀英 女 人事
2 A0003 王芳 女 行政
3 A0004 郑勇 男 市场
4 A0005 张丽 女 研发
5 A0006 王艳 女 后勤
6 A0007 李勇 男 市场
7 A0008 李娟 女 工程
8 A0009 张静 女 人事
9 A0010 王磊 男 行政
10 A0011 李娜 女 市场
11 A0012 刘诗雯 女 研发
12 A0013 王刚 男 后勤
13 A0014 叶倩 女 后勤
14 A0015 金雯雯 女 市场
15 A0016 王超杰 男 工程
16 A0017 李军 男 人事
这同样适用于OUTPUT函数、使用多少列以及是否index,标题的放置方式是可以控制的。,标题的放置方式受到控制。
vlookup函数
vlookup号称是Excel下面的例子来自世界上最强大的工具之一豆瓣。VLOOKUP最常用的函数最常用的函数最常用的函数10你知道多少种用途?你能做多少种用途?你能用它做几种用途??
案例一
问题:A3:B7单元格区域为字母等级查询表,表示60分以下为E级、60~69分为D级、70~79分为C级、80~89分为B级、90分以上为A级。D:G列为低年级列为低年级列为低年级1如何根据语言考试成绩表返回班级的字母等级?
方法:在H3:H13在单元格区域输入单元格字段输入单元格区域单元格区域输入=VLOOKUP(G3, $A$3:$B$7, 2)
python实现:
df = pd.read_excel("test.xlsx", sheet_name=0)
def grade_to_point(x):
if x >= 90:
return A
elif x >= 80:
return B
elif x >= 70:
return C
elif x >= 60:
return D
else:
return E
df[等级] = df[语文].apply(grade_to_point)
df
Out[]:
学号 姓名 性别 语文 等级
0 101 王小丽 女 69 D
1 102 王宝勤 男 85 B
2 103 杨玉萍 女 49 E
3 104 田东会 女 90 A
4 105 陈雪蛟 女 73 C
5 106 杨建丰 男 42 E
6 107 黎梅佳 女 79 C
7 108 张兴 男 91 A
8 109 马进春 女 48 E
9 110 魏改娟 女 100 A
10 111 王冰研 女 64 D
案例二
问题:在Sheet1如何在折旧表折旧明细中找到对应数字下的月折旧额?(跨表搜索)
方法:在Sheet1里面的C2:C4单元格输入单元格输入 =VLOOKUP(A2, 折旧表折旧明细!A$2:$G$12, 7, 0)
python实现:使用实现:使用实现:使用merge只需用数字连接两个表只需用数字连接两个表只需用数字连接两个表
df1 = pd.read_excel("test.xlsx", sheet_name=折旧表折旧明细)
df2 = pd.read_excel("test.xlsx", sheet_name=1) #题目里的sheet1
df2.merge(df1[[编号, 月折旧额]], how=left, on=编号)
Out[]:
编号 资产名称 月折旧额
0 YT001 电动门 1399
1 YT005 桑塔纳轿车桑塔纳轿车 1147
2 YT008 打印机 51
案例三
问题:类似于案例2,但这一次您需要使用近似查找
方法:在B2:B7在字段中输入公式在字段中输入公式区域中输入公式 =VLOOKUP(A2&"*", 折旧表折旧明细!$B$2:$G$12, 6, 0)
python实现:这个比上一个更麻烦,需要使用一些pandas使用提示如何使用
df1 = pd.read_excel("test.xlsx", sheet_name=折旧表折旧明细)
df3 = pd.read_excel("test.xlsx", sheet_name=3) #包含资产缩写名称的表包含资产缩写名称的表包含资产缩写名称的表
df3[月折旧额] = 0
for i in range(len(df3[资产名称])):
df3[月折旧额][i] = df1[df1[资产名称].map(lambda x:df3[资产名称][i] in x)][月折旧额]
df3
Out[]:
资产名称 月折旧额
0 电动 1399
1 货车 2438
2 惠普 132
3 交联 10133
4 桑塔纳 1147
5 春兰 230
案例四
问题:在Excel在数据中录入数据信息时,为了提高效率,用户希望通过录入数据的关键字来自动显示记录的其余信息,例如,输入员工的工号自动显示员工的字母,输入物料编号自动显示物料的名称和单价等。
如图所示是一个单位所有员工的所有基本信息的数据源表,在“2010年3在“每月雇员假期统计数字”工作表中,当A在该栏中输入员工的工作编号时,如何自动输入相应员工的姓名、身份证号、部门、职位、入职日期等?
方法:使用方法:使用VLOOKUP+MATCH函数,在“函数,在”中2010年3选择“员工当月休假统计”工作表B3:F8单元格区域,输入以下公式单元格区域,输入以下公式=IF($A3="","",VLOOKUP($A3,员工基本信息员工基本信息员工基本信息员工基本信息!$A:$H,MATCH(B$2,员工基本信息员工基本信息员工基本信息员工基本信息!$2:$2,0),0)),按下【Ctrl+Enter]组合键结束。End of]组合键。]组合键结束。]组合键结束。
python实现:以上实现:以上Excel使用的方法是灵活的,但方法的使用灵活,但pandas这样的思路和操作更简单、更方便了
df4 = pd.read_excel("test.xlsx", sheet_name=员工基本信息员工基本信息员工基本信息员工基本信息表员工基本信息表员工基本信息表)
df5 = pd.read_excel("test.xlsx", sheet_name=请假统计表请假统计表)
df5.merge(df4[[工号, 姓名, 部门, 职务, 入职日期]], on=工号)
Out[]:
工号 姓名 部门 职务 入职日期
0 A0004 龚梦娟 后勤 主管 2006-11-20
1 A0003 赵敏 行政 文员 2007-02-16
2 A0005 黄凌 研发 工程师 2009-01-14
3 A0007 王维 人事 经理 2006-07-24
4 A0016 张君宝 市场 工程师 2007-08-14
5 A0017 秦羽 人事 副经理 2008-03-06
案例五
问题:用VLOOKUP用于批量查找的函数。用于批量查找的函数。用于批量查找的函数。函数来实现批量查找。VLOOKUP函数一般只能找到一个,那么多个应该如何找到呢?如下图所示,如何列出张怡的所有消费金额?
方法:在C9:C11在单元格中输入公式在单元格中输入公式 =VLOOKUP(B$9&ROW(A1),IF({1,0},$B$2:$B$6&COUNTIF(INDIRECT("b2:b"&ROW($2:$6)),B$9),$C$2:$C$6),2,)
,按SHIFT+CTRL+ENTER键结束。
python实现:vlookup该函数有两个缺点(或功能分类),一是要找到的值必须在区域的第一列,二是只能找到一个值,其余的即使可以匹配也找不到,这两者都可以通过灵活的if和indirect函数来解决它,而函数来解决它,但是pandas可以做得更直接一点。可以做得更直接。可以做得更直截了当。
df6 = pd.read_excel("test.xlsx", sheet_name=消费额)
df6[df6[姓名] == 张一][[姓名, 消费额]]
Out[]:
姓名 消费额
0 张一 100
2 张一 300
4 张一 1000
数据透视表透视表透视表
数据透视表透视表透视表是Excel是重新组织和集成本质上是一系列表的过程的另一个产物。这里使用的案例研究来自于这样的知识Excel数据透视表透视表透视表有什么用途:(https://www.zhihu.com/question/22484899/answer/39933218 )
问:你需要汇总每个地区每个月的总销售额和成本,同时计算利润。
通过Excel的数据透视表透视表透视表的操作最终实现了下面这样的效果:
python实现:对于具有这种分组的任务,首先想到的是pandas的groupby代码也很容易编写,其想法是将Excel点鼠标操作反映在代码命令中。
df = pd.read_excel(test.xlsx, sheet_name=销售统计表销售统计表)
df[订购月份] = df[订购日期].apply(lambda x:x.month)
df2 = df.groupby([订购月份, 所属区域])[[销售额, 成本]].agg(sum)
df2[利润] = df2[销售额] - df2[成本]
df2
Out[]:
销售额 成本 利润
订购月份 所属区域
1 南京 134313.61 94967.84 39345.77
常熟 177531.47 163220.07 14311.40
无锡 316418.09 231822.28 84595.81
昆山 159183.35 145403.32 13780.03
苏州 287253.99 238812.03 48441.96
2 南京 187129.13 138530.42 48598.71
常熟 154442.74 126834.37 27608.37
无锡 464012.20 376134.98 87877.22
昆山 102324.46 86244.52 16079.94
苏州 105940.34 91419.54 14520.80
... ... ...
11 南京 286329.88 221687.11 64642.77
常熟 2118503.54 1840868.53 277635.01
无锡 633915.41 536866.77 97048.64
昆山 351023.24 342420.18 8603.06
苏州 1269351.39 1144809.83 124541.56
12 南京 894522.06 808959.32 85562.74
常熟 324454.49 262918.81 61535.68
无锡 1040127.19 856816.72 183310.48
昆山 1096212.75 951652.87 144559.87
苏州 347939.30 302154.25 45785.05
[60 rows x 3 columns]
您也可以使用它也可以使用您还可以使用pandas里的pivot_table要实现的功能。功能实现。要实现的功能。
df3 = pd.pivot_table(df, values=[销售额, 成本], index=[订购月份, 所属区域] , aggfunc=sum)
df3[利润] = df3[销售额] - df3[成本]
df3
Out[]:
成本 销售额 利润
订购月份 所属区域
1 南京 94967.84 134313.61 39345.77
常熟 163220.07 177531.47 14311.40
无锡 231822.28 316418.09 84595.81
昆山 145403.32 159183.35 13780.03
苏州 238812.03 287253.99 48441.96
2 南京 138530.42 187129.13 48598.71
常熟 126834.37 154442.74 27608.37
无锡 376134.98 464012.20 87877.22
昆山 86244.52 102324.46 16079.94
苏州 91419.54 105940.34 14520.80
... ... ...
11 南京 221687.11 286329.88 64642.77
常熟 1840868.53 2118503.54 277635.01
无锡 536866.77 633915.41 97048.64
昆山 342420.18 351023.24 8603.06
苏州 1144809.83 1269351.39 124541.56
12 南京 808959.32 894522.06 85562.74
常熟 262918.81 324454.49 61535.68
无锡 856816.72 1040127.19 183310.48
昆山 951652.87 1096212.75 144559.87
苏州 302154.25 347939.30 45785.05
[60 rows x 3 columns]
pandas的pivot_table的参数index/ columns/ values和Excel里的参数是对应上的(当然,我这话说了等于没说,数据透视表透视表透视表里不就是行/列/(它还有其他价值吗?)(还有什么值得的。)(还有什么值得吗?)(还有什么价值呢?)
但是我个人更喜欢用,但是我个人更喜欢用groupby因为它非常快。我正在打字kaggle在比赛时,有一个关于贷款人行为的表格,大致2700万行,用groupby忘记几个聚合函数,它在几秒钟内就完成了。
groupby这些功能非常全面,有许多内置的aggregate函数,可以满足大部分的基本需求,如果还需要一些其他的函数,可以配合使用apply和lambda。
不过pandas官方文件对此的官方文件说groupby之后用apply速度非常慢。速度非常慢。速度非常慢,非常慢。aggregate它在内部进行了优化,因此速度非常快apply不是优化的,所以建议先考虑其他方法,当它不起作用时,再使用apply。
当我玩游戏时,为了生成一个新的变量,我使用了groupby的apply写下了这句话。写下了下面的句子。写下了这句话。写了这个。 ins[weight] = ins[[SK_ID_PREV
, DAYS_ENTRY_PAYMENT]].groupby(SK_ID_PREV).apply(lambda x: 1-abs(x)/x.sum().abs()).iloc[:,1]
,1000我花了10多分钟才计算出1万行的数据,我等得筋疲力尽。
绘图
因为Excel绘制的图表可以与之交互,并且可以对图表执行一些简单的操作,因此在这里python可视化库是可视化库,可视化库是plotly案例将使用我在本学期的发展经济学课上所做的作业,当时使用的是图表Excel已绘制,现在使用已绘制,现在使用python再画一次。在开始之前,首先加载plotly包。
import plotly.offline as off
import plotly.graph_objs as go
off.init_notebook_mode()
柱状图
当时用Excel绘制了许多条形图,其中之一是
下面用plotly来画一下
df = pd.read_excel("plot.xlsx", sheet_name=高等教育招生高等教育招生)
trace1 = go.Bar(
x=df[国家],
y=df[1995],
name=1995,
opacity=0.6,
marker=dict(
color=powderblue
)
)
trace2 = go.Bar(
x=df[国家],
y=df[2005],
name=2005,
opacity=0.6,
marker=dict(
color=aliceblue,
)
)
trace3 = go.Bar(
x=df[国家],
y=df[2014],
name=2014,
opacity=0.6,
marker=dict(
color=royalblue
)
)
layout = go.Layout(barmode=group)
data = [trace1, trace2, trace3]
fig = go.Figure(data, layout)
off.plot(fig)
雷达图
用Excel画的:
用python画的:
df = pd.read_excel(plot.xlsx, sheet_name=政治治理)
theta = df.columns.tolist()
theta.append(theta[0])
names = df.index
df[] = df.iloc[:,0]
df = np.array(df)
trace1 = go.Scatterpolar(
r=df[0],
theta=theta,
name=names[0]
)
trace2 = go.Scatterpolar(
r=df[1],
theta=theta,
name=names[1]
)
trace3 = go.Scatterpolar(
r=df[2],
theta=theta,
name=names[2]
)
trace4 = go.Scatterpolar(
r=df[3],
theta=theta,
name=names[3]
)
data = [trace1, trace2, trace3, trace4]
layout = go.Layout(
polar=dict(
radialaxis=dict(
visible=True,
range=[0,1]
)
),
showlegend=True
)
fig = go.Figure(data, layout)
off.plot(fig)
画起来比Excel这就麻烦多了。这要麻烦得多。麻烦多了。麻烦要多得多。
通常,如果使用绘制简单而基本的形状Excel是最方便的,如果你想绘制更高级的或需要更定制的图形,请使用python更合适。
原文:www.jianshu.com/p/9bc9f473dd22
推荐阅读:
入门: 最完整的零基学习最全面的零基学习最完整的零基学习Python的问题 | 从零开始学习从零基础学习从零基础学习8个月的Python | 实战项目 |学Python这是捷径,这是捷径,这是捷径
干货:爬行豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析最佳球员分析 | 从万众期待到口碑惨败!唐探3令人失望 | 笑新伊田图龙记笑新伊田图龙记笑新伊田图龙记 | 谜语之王回答灯谜之王灯谜之王谜语之王 |用Python人山人海素描图人山人海素描图人山人海 Dishonor太火了,我用机器学习做了一个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python日常酷跑游戏日常酷跑游戏日常酷跑游戏!
AI: 会写诗的机器人会写诗的机器人会写诗的机器人 | 给图片上色给图片上色给图片上色 | 预测收入 | 《耻辱》太火了,我用机器学习做了一部迷你推荐系统电影
小工具: Pdf转Word易于修复表单和水印!易于处理的表单和水印!轻松修复桌子和水印!易于修复的形式和水印! | 一键把html将页面另存为网页另存为网页另存为pdf!| 再见PDF提款费!提款费!提款费!提款费用! | 用90构建最强大的代码行构建最强大的代码行构建最强大的代码行PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一个固定的低成本机票提醒!制作一张别针的低价机票提醒! |60代码行做了一个语音墙纸切换,天天见女士!
年度弹出文案年度弹出文案年度爆炸性文案
-
1). 卧槽!Pdf转Word用Python轻松搞定 !
-
2).学Python闻起来好香!我用100一行代码做了一个网站,帮助人们做了一行代码,做了一个网站,帮助了人们做了一行代码,帮助了人们PS旅行图片赚鸡腿吃旅行图片赚鸡腿
-
3).第一次播放量过亿,火爆全网,我分析了《顺风车妹妹》,发现了这些秘密
-
4). 80一行行代码!使用Python让救济金做正确的事做做的人做好事的人A梦分身
-
5).你必须掌握的东西你必须掌握20个python代码,简短而紧凑,永无止境的有用代码,简短而甜蜜,永无止境的有用的代码,简短而紧凑,永无止境的使用代码,简短而甜蜜,永无止境的用途
-
6). 30个Python古怪技能集古怪小贴士收藏古怪技能集
-
7). 我总结的80《菜鸟学习专页》《菜鸟学习专页》《菜鸟学习》Python精选干货.pdf》,都是干货
-
8). 再见Python!我要学Go了!2500词深度分析词深度分析词深度分析 !
-
9).发现了一只舔狗的福利!这Python爬虫神器太酷了,不能自动下载女孩的照片
点击阅读原文点击查看点击点击阅读点击阅读原文点击查看B放我鸽子看录像!站在我的录像带上!在视频里放我鸽子!站在我的录像带上!
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除