2003031133—谢芳—Python数据分析五一假期作业

项目	要求
课程班级博客链接	20级数据班（本）
这个作业要求链接	Python数据分析五一假期作业
博客名称	2003031133—谢芳—Python数据分析五一假期作业
要求	每道题要有题目,代码(使用插入代码,不会插入代码的自己查资料解决，不要直接截图代码！！),截图（只截运行结果）。

一、分析1996~2015年人口数据特征间的关系

考查知识点：掌握pyplot常用的绘图参数的调节方法；掌握子图的绘制方法；掌握绘制图形的保存与展示方法；掌握散点图和折线图的作用与绘制方法。

需求说明：

人口数据总共拥有6个特征，分别为年末总人口、男性人口、女性人口、城镇人口、乡村人口和年份。查看各个特征随着时间推移发生的变化情况可以分析出未来男女人口比例、城乡人口变化的方向。

截图如下：

 

 

 

 

要求：

（1）使用NumPy库读取人口数据。

（2）创建画布，并添加子图。

（3）在两个子图上分别绘制散点图和折线图。

（4）保存，显示图片。

（5）分析未来人口变化趋势

import pandas as pd;import numpy as npfrom sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:root@127.0.0.1:\3306/testdb?charset=tuf8')detail = pd.read_sql_table('Training_Userupdate',con = engine)print('维度',detial.ndim)print('',detial.shape)''''''import numpy as npimport matplotlib.pyplot as plt#使⽤numpy库读取⼈⼝数据data=np.load('C:/Users/ASUS/Desktop/新建文件夹/populations.npz',allow_pickle=True)print(data.files)#查看⽂件中的数组print(data['data'])print(data['feature_names'])plt.rcParams['font.sans-serif'] = 'SimHei' # 设置中文显示plt.rcParams['axes.unicode_minus'] = False# 防止字符无法显示name=data['feature_names']#提取其中的feature_names数组，视为数据的标签values=data['data']#提取其中的data数组，视为数据的存在位置p1=plt.figure(figsize=(12,12))#确定画布⼤⼩pip1=p1.add_subplot(2,1,1)#创建⼀个两⾏⼀列的⼦图并开始绘制#在⼦图上绘制散点图plt.scatter(values[0:20,0],values[0:20,1])#,marker='8',color='red'plt.ylabel('总人口（万⼈）')plt.legend('年末')plt.title('1996~2015年末与各类人口散点图')pip2=p1.add_subplot(2,1,2)#绘制⼦图2plt.scatter(values[0:20,0],values[0:20,2])#,marker='o',color='yellow'plt.scatter(values[0:20,0],values[0:20,3])#,marker='D',color='green'plt.scatter(values[0:20,0],values[0:20,4])#,marker='p',color='blue'plt.scatter(values[0:20,0],values[0:20,5])#,marker='s',color='purple'plt.xlabel('时间')plt.ylabel('总人口（万人）')plt.xticks(values[0:20,0])plt.legend(['男性','女性','城镇','乡村'])#在⼦图上绘制折线图p2=plt.figure(figsize=(12,12))p1=p2.add_subplot(2,1,1)plt.plot(values[0:20,0],values[0:20,1])#,linestyle = '-',color='r',marker='8'plt.ylabel('总人口（万人）')plt.xticks(range(0,20,1),values[range(0,20,1),0],rotation=45)#rotation设置倾斜度plt.legend('年末')plt.title('1996~2015年末总与各类人口折线图')p2=p2.add_subplot(2,1,2)plt.plot(values[0:20,0],values[0:20,2])#,'y-'plt.plot(values[0:20,0],values[0:20,3])#,'g-.'plt.plot(values[0:20,0],values[0:20,4])#,'b-'plt.plot(values[0:20,0],values[0:20,5])#,'p-'plt.xlabel('时间')plt.ylabel('总人口（万人）')plt.xticks(values[0:20,0])plt.legend(['男性','女性','城镇','乡村'])#显⽰图⽚plt.show()

 

 

 

 

 

 

二、读取并查看P2P网络贷款数据主表的基本信息

考查知识点：掌握常见的数据读取方式；掌握DataFrame常用属性与方法；掌握基础时间数据处理方法；掌握分组聚合的原理与方法；掌握透视表与交叉表的制作。

需求说明：

P2P贷款主表数据主要存放了网贷用户的基本信息。探索数据的基本信息，能够洞察数据的整体分布、数据的类属关系、从而发现数据间的关联。

要求：

（1）使用ndim、shape、memory_usage属性分别查看维度、大小、占用内存信息。

代码

import osimport pandas as pdmaster = pd.read_csv('C:/Users/ASUS/Desktop/新建文件夹/Training_Master.csv',encoding='gbk')print('P2P网络贷款主表数据的维度为：',master.ndim)print('P2P网络贷款主表数据的形状大小为：',master.shape)print('P2P网络贷款主表数据的占用内存为：',master.memory_usage)print('P2P网络贷款主表数据的描述性统计为：\n',master.describe())

 

 

 

三、提取用户信息更新表和登录信息表的时间信息（1题10分，共10分）

考查知识点：掌握常见的数据读取方式；掌握DataFrame常用属性与方法；掌握基础时间数据处理方法；掌握分组聚合的原理与方法；掌握透视表与交叉表的制作。

需求说明：

用户信息更新表和登录信息表汇总均存在大量的时间数据，提取时间数据内存在的信息，一方面可以加深对数据的理解，另一方面能够探索这部分信息和目标的关联程度。同时用户登录时间、借款成交时间、用户信息更新时间这些时间的时间差信息冶能反映出P2P网络贷款不同用户的行为信息。

要求：

（1）使用to_datetime函数转换用户信息更新表和登录信息表的时间字符串。

代码：

import pandas as pdLogInfo  = pd.read_csv('C:/Users/ASUS/Desktop/新建文件夹/Training_LogInfo.csv',encoding='gbk')Userupdate= pd.read_csv('C:/Users/ASUS/Desktop/新建文件夹/Training_Userupdate.csv',encoding='gbk')# 转换时间字符串LogInfo['Listinginfo1']=pd.to_datetime(LogInfo['Listinginfo1'])LogInfo['LogInfo3']=pd.to_datetime(LogInfo['LogInfo3'])print('转换登录信息表的时间字符串前5行：\n',LogInfo.head())Userupdate['ListingInfo1']=pd.to_datetime(Userupdate['ListingInfo1'])Userupdate['UserupdateInfo2']=pd.to_datetime(Userupdate['UserupdateInfo2'])print('转换用户信息更新表的时间字符串前5行：\n',Userupdate.head())

 

 

四、使用分组聚合方法进一步分析用户信息更新表和登录信息表

考查知识点：掌握常见的数据读取方式；掌握DataFrame常用属性与方法；掌握基础时间数据处理方法；掌握分组聚合的原理与方法；掌握透视表与交叉表的制作。

需求说明：

分析用户信息更新表和登录信息表时，除了提取时间本身的信息外，还可以结合用户编号进行分组聚合，然后进行组内分析。通过组内分析可以得出每组组内的最早和最晚信息更新时间、最早和最晚登录时间、信息更新的次数、登录的次数等信息。

要求：

（1）使用groupby方法对用户信息更新表和登录信息表进行分组。

（2）使用agg方法求取分组后的最早和最晚更新及登录时间。

（3）使用size方法求取分组后的数据的信息更新次数与登录次数。

 代码

import pandas as pdimport numpy as npLogInfo  = pd.read_csv('C:/Users/ASUS/Desktop/新建文件夹/Training_LogInfo.csv',encoding='gbk')Userupdate= pd.read_csv('C:/Users/ASUS/Desktop/新建文件夹/Training_Userupdate.csv',encoding='gbk')# 使用groupby方法对用户信息更新表和登录信息表进行分组LogGroup = LogInfo[['Idx','LogInfo3']].groupby(by = 'Idx')UserGroup = Userupdate[['Idx','UserupdateInfo2']].groupby(by = 'Idx')#代码18-2# 使用agg方法求取分组后的最早，最晚，更新登录时间print('分组后的最早登录时间为：\n',LogGroup.agg(np.min))print('分组后的最晚登录时间为：\n',LogGroup.agg(np.max))print('分组后的最早更新时间为：\n',UserGroup.agg(np.min))print('分组后的最晚更新时间为：\n',UserGroup.agg(np.max))#代码18-3# 使用size方法求取分组后的数据的信息更新次数与登录次数print('分组后的数据的信息更新次数为：\n',LogGroup.size())print('分组后的数据的登录次数为：\n',UserGroup.size())