当前位置：首页 >数据库 > 【Pandas教程】像写SQL一样用Pandas～

【Pandas教程】像写SQL一样用Pandas～

数据库

写在最前

Python在数据分析领域有三个必须需要熟悉的库，分别是pandas,numpy和matplotlib，如果排个优先级的话，我推荐先学pandas。

numpy主要用于数组和矩阵的运算，一般在算法领域会应用比较多。
matplotlib用于作图的话其实可替代的库会比较多，譬如有封装的更高级的seabo，调用起来会更方便，也有交互性更强的pyecharts,风格会更讨喜。

但对于pandas，似乎完全绕不开，当然这三个库都是非常优秀的库，如果你已经入坑数据分析，建议全学🌝。

基本用法

读取数据

SQL

sql读取数据其实没啥可说的，一句简单的select * from table_name就OK了。

Pandas

pandas支持的数据源很多，包括csv，excel，以及读取数据库，当然读取数据库的话需要配合其他库，包括oracle，mysql，vertica等等都是支持的。
常见的如下：

pandas.read_csv()：用于读取csv文件；
pandas.read_excel()：用于读取Excel文件；
pandas.read_json() ：用于读取json文件；
pandas.read_sql()：用于读取数据库，传入sql语句，需要配合其他库连接数据库。

由于我本地没有数据库资源，我这边就已csv文件为例：

import pandas as pddata = pd.read_csv('directory.csv', encoding='utf-8')# data.head()默认显示前5条记录，类似还有data.tail()  data.head()

筛选列

SQL

select city, countryfrom table_name

Pandas

# 筛选一列# 这样返回的是seriesdata['City'].head()# 这样返回的是dataframe，注意差别data[['City']].head()# 筛选多列data[['City','Country']].head()

筛选行

SQL

sql本身并不支持筛选特定行，不过可以通过函数排序生成虚拟列来筛选。

-- 筛选前100行select *from table_namelimit 100

Pandas

pandas支持的方式就比较多了，如果你了解python的切片操作，以下应该会比较好理解。

data[:3]：筛选前3行；
data[1:10:2]：筛选1到10行中的奇数行，最后一个数字2表示每隔2行取数；

行列同时筛选

pandas主要有data.iloc和data.loc来支持行列筛选，虽然还有data.ix,但在目前最新的pandas已经将其弃用了。
其实我一开始对这两个方法很容易混淆，其实后面发现很好区分，如果需要用列名来筛选，请用loc，如果使用列索引，请用iloc。

# 根据列名，请用loc# 筛选1到10行的奇数行，City和Country列data.loc[1:10:2,['City','Country']]# 筛选第2和第4行，City和Country列data.loc[[2,4],['City','Country']]# 根据列索引，请用iloc# 筛选1到10行的奇数行，2到5列data.iloc[1:10:2,2:5]# 筛选1到10行的奇数行，2到10列中每隔3列取一列data.iloc[1:10:2,2:10:3]# 筛选第2和第4行，第3和第5列data.iloc[[2,4],[3,5]]

根据条件筛选

SQL

select city, countryfrom table_namewhere city = 'shanghai'

Pandas

在看示例之前需要提醒下，在Pandas中并不支持and 和or，相应的是&和|，而且由于&和|在运算优先级是优于== ,>等运算符等，因此在多条件筛选需要加上括号，类似(a == 1) & (b > 2)。

# 筛选Brand为Starbucksdata.loc[data['Brand'] == 'Starbucks']# 筛选City为shanghai或者为beijingdata.loc[(data['City'] == 'shanghai') | (data['City'] == 'beijing')]# 筛选Brand为Starbucks而且City为shanghaidata.loc[(data['Brand'] == 'Starbucks') & (data['City'] == 'shanghai')]# 使用.isindata.loc[data['City'].isin(['shanghai', 'Ajman', 'wuhan'])]# 筛选Timezone列中包含Asiadata.loc[data['Timezone'].str.contains('Asia')]

分组聚合

SQL

select column_A, sum(column_B)from table_namegroup by column_A

Pandas

基本用法：
对DataFrame进行goupby运算后，返回的是一个groupby对象，我们可以通过.reset_index()将其转为DataFrame。

  # 以Ownership Type列分组，对Brand列进行计数  # .reset_index()将groupby对象转成dataframe  data.groupby(['Ownership Type'])['Brand','Country'].count().reset_index()  # 以Country和City列进行分组，对Longitude进行求平均  data.groupby(['Country', 'City'])['Longitude'].mean().reset_index()

高阶用法：
我们可以同时对于不同列采取不同的聚合运算，譬如对A列使用sum()，对B列使用mean()，在SQL中其实很好实现的功能，在Pandas我们需要借助.agg()来实现。

  # 对不同列进行不同对运算  # 对Longitude进行MAX操作，对City列进行Count  data.groupby(['Ownership Type']).agg({'Longitude':'max', 'City':'count'}).reset_index()  # 对统一列进行不同对操作  data.groupby(['Ownership Type'])['Longitude'].agg(['max','count']).reset_index()

连接

SQL

select * from table_A  aleft join table_B  bon a.id = b.id

Pandas

在Pandas中我们可以使用pandas.merge()来完成连接对操作。

pandas.merge(left, right, how='inner', on=None, left_on=None,right_on=None, left_index=False, right_index=False, sort=True)

各参数解释如下：

left：一个DataFrame对象；
right：另一个DataFrame对象；
how：连接方式，默认为inner（内连接）；
on：连接键，必须在left和right两个DataFrame中存在，否则使用left_on和right_on;
left_on：left中的连接键；
right_on：right中的连接键；
left_index/right_index：默认为False，如果为True则使用索引作为连接的键。

# 生成两个DataFrameleft = pd.DataFrame({ 'id':[1,2,3,4,5], 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'subject_id':['sub1','sub2','sub4','sub6','sub5']})right = pd.DataFrame( {'id':[1,2,3,4,5], 'Name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'], 'subject_id':['sub2','sub4','sub3','sub6','sub5']})df = pd.merge(left=left, right=right, on='subject_id', how='left')print(df)'''id_x  Name_x subject_id  id_y Name_y0 1Alexsub1NaNNaN1 2 Amysub21.0  Billy2 3Allensub42.0  Brian3 4Alicesub64.0  Bryce4 5  Ayoungsub55.0  Betty'''

高阶用法

正则表达式

SQL

Oracle目前是支持正则表达式的，其他的数据库暂时不大了解，如果想了解用法的可以参考这篇教程，这边就不举例了。

Pandas

# 生成一个DataFramedf = pd.DataFrame({ 'Name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'], 'Location':['湖北省武汉市','广东省深圳市','广东省广州市','湖南省长沙市','湖北省鄂州市']})# 返回一列的时候expand为True返回的是Dataframeprint(df['Location'].str.extract('(.*?)省', expand=True))'''00  湖北1  广东2  广东3  湖南4  湖北'''# 返回一列的时候expand为True返回的是Dataframeprint(df['Location'].str.extract('(.*?)省(.*?)市', expand=True).rename(columns = {0: 'Province', 1: 'City'}))'''  Province City0湖北武汉1广东深圳2广东广州3湖南长沙4湖北鄂州'''# 与原DataFrame拼接，axis=1表示为横向拼接print(pd.concat([df, df['Location'].str.extract('(.*?)省(.*?)市', expand=True).rename(columns = {0: 'Province', 1: 'City'})], axis=1))''' Name Location Province City0Alex湖北省武汉市湖北武汉1 Amy广东省深圳市广东深圳2Allen广东省广州市广东广州3Alice湖南省长沙市湖南长沙4  Ayoung湖北省鄂州市湖北鄂州'''

当然对于pandas除了正则之外，其实在.str中还内置了很多字符串的方法，如切割(split)，替换(replace)等等。

自定义函数

Pandas中内置很多常用的方法，譬如求和，最大值等等，但很多时候还是满足不了需求，我们需要取调用自己的方法，Pandas中可以使用map()和apply()来调用自定义的方法，需要注意下map()和apply()的区别：

map()：是pandas.Series()的内置方法，也就是说只能用于单一列，返回的是数据是Series()格式的；
apply()：可以用于单列或者多列，是对整个DataFrame的元素进行运算，返回一个DataFrame。

import numpy as np# 随机生成一个DataFramedf = pd.DataFrame(np.random.randn(4, 3), columns=['A', 'B', 'C'])print(df)'''  A B C0 -0.487982  0.898259  0.1203161 -3.411103  0.139425 -1.9690462  1.192626 -1.053607  0.5962963 -0.981491  0.281875 -0.910885'''# map()是针对pandas.Series()的内置方法# apply()可以用于DataFrame和Series# 取绝对值,返回的是Seriesprint(df['A'].map(lambda x: abs(x)))'''00.48798213.41110321.19262630.981491Name: A, dtype: float64'''# 对整个DataFrame进行取绝对值print(df[['A']].apply(lambda x: abs(x)))'''  A0  0.4879821  3.4111032  1.1926263  0.981491'''# 自定义函数def _abs(x):retu abs(x)print(df.apply(_abs))'''  A B C0  0.487982  0.898259  0.1203161  3.411103  0.139425  1.9690462  1.192626  1.053607  0.5962963  0.981491  0.281875  0.910885'''

DataFrame拼接

前文提到了merge() ,其实也算作拼接的一种，如果将merge()类比为join操作，接下来讲的拼接将类似于SQL中的union all操作。

df1 = pd.DataFrame(np.random.randn(2, 3), columns=['A', 'B', 'C'])df2 = pd.DataFrame(np.random.randn(2, 3), columns=['B', 'C', 'D'])print(df1)'''  A B C0  1.371182 -0.201213  0.0787071  2.607673  0.480420 -0.736990'''print(df2)'''  B C D0  0.472007  0.932799 -1.2364431  2.207940  0.696062  0.237979'''# 默认纵向连接，即union操作# ignore_index为True为重新生成索引print(pd.concat([df1, df2], axis=0, ignore_index=True, sort=False))'''  A B C D0  1.371182 -0.201213  0.078707NaN1  2.607673  0.480420 -0.736990NaN2NaN  0.472007  0.932799 -1.2364433NaN  2.207940  0.696062  0.237979'''# axis=1为横向连接print(pd.concat([df1, df2], axis=1))'''  A B C B C D0  1.371182 -0.201213  0.078707  0.472007  0.932799 -1.2364431  2.607673  0.480420 -0.736990  2.207940  0.696062  0.237979'''# append不会重新生成DataFrame，在原DF上添加print(df1.append(df2,sort=False))'''  A B C D0  1.371182 -0.201213  0.078707NaN1  2.607673  0.480420 -0.736990NaN0NaN  0.472007  0.932799 -1.2364431NaN  2.207940  0.696062  0.237979'''