Pandas中Apply函数加速百倍的技巧转载

[ 引言 ] 虽然目前dask,cudf等包的出现，使得我们的数据处理大大得到了加速，但是并不是每个人都有比较好的gpu，非常多的朋友仍然还在使用pandas工具包，但有时候真的很无奈，pandas的许多问题我们都需要使用apply函数来进行处理，而apply函数是非常慢的，本文我们就介绍如何加速apply函数600倍的技巧。

实验对比

01 Apply(Baseline)

我们以Apply为例，原始的Apply函数处理下面这个问题，需要 18.4s 的时间。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=(a,b,c,d,e))
def func(a,b,c,d,e):
    if e == 10:
        return c*d
    elif (e < 10) and (e>=5):
        return c+d
    elif e < 5:
        return a+b
%%time
df[new] = df.apply(lambda x: func(x[a], x[b], x[c], x[d], x[e]), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s

02 Swift加速

因为处理是并行的，所以我们可以使用Swift进行加速，在使用Swift之后，相同的操作在我的机器上可以提升到7.67s。

%%time
# !pip install swifter
import swifter
df[new] = df.swifter.apply(lambda x : func(x[a],x[b],x[c],x[d],x[e]),axis=1)
HBox(children=(HTML(value=Dask Apply), FloatProgress(value=0.0, max=16.0), HTML(value=)))

CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s

03 向量化

使用Pandas和Numpy的最快方法是将函数向量化。如果我们的操作是可以直接向量化的话，那么我们就尽可能的避免使用：

• for循环；

• 列表处理；

• apply等操作

在将上面的问题转化为下面的处理之后，我们的时间缩短为：421 ms。

%%time
df[new] = df[c] * df[d] #default case e = =10
mask = df[e] < 10
df.loc[mask,new] = df[c] + df[d]
mask = df[e] < 5
df.loc[mask,new] = df[a] + df[b]
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms

04 类别转化+向量化

我们先将上面的类别转化为int16型，再进行相同的向量化操作，发现时间缩短为：116 ms。

for col in (a,b,c,d):
    df[col] = df[col].astype(np.int16) 
%%time
df[new] = df[c] * df[d] #default case e = =10
mask = df[e] < 10
df.loc[mask,new] = df[c] + df[d]
mask = df[e] < 5
df.loc[mask,new] = df[a] + df[b]
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms

05 转化为values处理

在能转化为.values的地方尽可能转化为.values，再进行操作。

• 此处先转化为.values等价于转化为numpy，这样我们的向量化操作会更加快捷。

于是，上面的操作时间又被缩短为：74.9ms。

%%time
df[new] = df[c].values * df[d].values #default case e = =10
mask = df[e].values < 10
df.loc[mask,new] = df[c] + df[d]
mask = df[e].values < 5
df.loc[mask,new] = df[a] + df[b]
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms

实验汇总

通过上面的一些小的技巧，我们将简单的Apply函数加速了几百倍，具体的：

• Apply: 18.4 s

• Apply + Swifter: 7.67 s

• Pandas vectorizatoin: 421 ms

• Pandas vectorization + data types: 116 ms

• Pandas vectorization + values + data types: 74.9ms

本文大部分内容参考引文

参考文献：Do You Use Apply in Pandas? There is a 600x Faster Way

作者：程序员小八

https://blog.csdn.net/z099164/article/details/122379538

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街！唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！|  再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜

年度爆款文案

• 1). 卧槽！Pdf转Word用Python轻松搞定 ！

• 2).学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃

• 3).首播过亿，火爆全网，我分析了《乘风破浪的姐姐》，发现了这些秘密

• 4). 80行代码！用Python做一个哆来A梦分身

• 5).你必须掌握的20个python代码，短小精悍，用处无穷

• 6). 30个Python奇淫技巧集

• 7). 我总结的80页《菜鸟学Python精选干货.pdf》,都是干货

• 8). 再见Python！我要学Go了！2500字深度分析 ！

• 9).发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片

点阅读原文，看B站我的视频！