数据分析8个具体步骤
# 在对数据进行分析时,主要细分为明确目标、应用思维和如下8个具体步骤:
1、读取数据
2、清洗数据
3、操作数据
4、转换数据
5、整理数据
6、分析数据
7、展现数据
8、总结报告
接下来将介绍使用python来具体处理数据,包括上面几个步骤的实现,以及给出具体的操作例子。
需要记住的是使用python处理数据所用到的 具体函数、方法。
# 一、python读取数据
‘‘‘‘‘‘
1、简要
2、如何从Excel文件中读取数据
3、如何从MySQL数据库中读取数据
4、如何从网页中读取数据
‘‘‘‘‘‘
1、简要
读取数据时数据分析的第一步,相对来说比较简单,读取数据类型可以大致分为几类,一般用到的都是从 excel表、数据库、网页中进行读取。
我们使用python中的pandas库来实现读取操作。
2、如何从Excel文件中读取数据
Python代码如下:
读取数据之前需要导入pandas库
#导入pandas库
import pandas as pd
#导入Excel文件
df = pd.read_excel(‘文件名.xlsx‘)
3、如何从MySQL数据库中读取数据
读取数据之前需要安装pymysql模块
# 安装pymysql模块(在终端操作)
pip install pymysql
#安装后,读取操作代码如下:
import pandas as pd
import pymysql# 创建数据库连接conn = pymysql.connect(host=‘‘, user=‘‘, passwd=‘‘, database=‘‘)# 创建游标cursor = conn.cursor()# 写SQL语句sql = "select * from 表名"#读取数据df = pd.read_sql(sql,conn)df.head()# 关闭游标cursor.close()# 关闭连接conn.close()4、如何从网页中读取数据
访问网页时需要用到ssl模块,解决证书不受信任问题
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
# 网址
url = ‘http://s.askci.com/stock/a/?reportTime=2019-03-31&pageNum=1‘
#读取网页中表格数据
dfs = pd.read_html(url)
# 二、python清洗数据
‘‘‘
1、如何查找异常
2、如何排除重复
3、如何删除缺失
4、如何补全缺失
5、应用案例
‘‘‘
下面使用待清洗的扑克牌作为示例,来完成以上操作。
import numpy as np
import andas as pd
pd.set_option(‘max_rows‘,10)
df = df.read_excel("待清洗的扑克牌.xlsx")
df
返回结果如下:
1、如何查找异常
在清洗数据之前需要把异常的数据查找出来,观察异常数据特征,然后确定清洗方法。
一般查找数据异常方式:
查找某一列缺失
查找重复的行列
查找某一列的唯一值
#查找花色缺失的行
df[df.花色.isnull()]
# 查找完全重复的行
df[df.duplicated()]
# 查找某一列重复的行
df[df.编号.duplicated()]
#查找牌面所有唯一值
df.牌面.unique()
返回结果如下:
根据常识可以得出,‘30‘为异常值。
#查找牌面包含30的异常值
df[df.牌面.isin([‘30‘])]
2、如何排除重复
使用drop_duplicates()函数,在排除重复后会得到新的返回值。
#排除完全重复的行,默认保留第一行
df.drop_duplicates()
# 按照莫一列排除重复,默认保留第一行
df.drop_duplicates([‘花色‘])
# 按照莫一列排除重复,默认保留最后一行
df.drop_duplicates([‘花色‘],keep = ‘last‘)
3、如何删除缺失
使用dropna()默认删除包含缺失的行
使用扑克牌中不重复的花色为例
color = df.drop_duplicates([‘花色‘])
#删除花色缺失的行
color.dropna()
#删除整行全部为空的行,需要指定how参数
color.dropna(how=‘all‘)
#删除包含缺失值的列
color.dropna(axis = 1)
4、如何补全缺失
# 使用fillna()函数可以将缺失值填充成制定的值。
color.fillna(‘joker‘)
# 使用临近值填充需要指定method参数
#用后面的值填充
color.fillna(method= ‘bfill‘)
# 按字典填充
# 先制定一个缺失值
color.loc[2,‘牌面‘] = np.nan
color
#按列自定义补全缺失值
color.fillna({‘花色‘:0,‘牌面‘:1})
5、应用案例
import numpy as np
import pandas as pd
# 设置最多显示10行
pd.set_option(‘max_rows‘,10)
#从Excel文件中读取原始数据
df = pd.read_excel(‘待清洗的扑克牌‘.xlsx)
#补全缺失值
df = pd.fillna(‘joker‘)
#排除重复值
df = pd.drop_duplicates()
# 修改异常值
df.loc[4,‘牌面‘] = 3
# 增加一张缺少的牌
df = df.append({‘编号‘:4,‘花色‘:‘黑桃♠‘,‘牌面‘:2},ignore_index = True)
#按编号排序
df = df.sort_values(‘编号‘)
# 重置索引
df = df.reset_index()
# 删除多余的列
df = df.drop([‘index‘],axis = 1)
#清洗好的数据保存到excel文件中
df.to_excel(‘清洗好的扑克牌‘.xlsx,index = False)
df
上图为完整的扑克牌数据。