安科网

Python学习笔记：数据可视化(一)

IT小牛的IT见解

IT小牛的IT见解

2019-06-27

关注 关注

Python学习笔记：数据可视化(一)

python相关

基础概念

  • 数据:离散的，客观事实的数字表示
  • 信息：处理后的数据，为实际问题提供答案

- 为数据提供一种关系或一个关联后，数据就成了信息，这种关联通过提供数据背景来完成

  • 知识: 是数据、信息和通过经验获得的技能

- 知识包括做出适当决策的能力和执行时所需的技能

  • 观点：

　- 如何获取观点: 基于已有数据信息得到最佳或现实的决策，我们可以通过数据分析

  • 数据分析　依赖数学算法来确定产生观点的数据之间的关系
信息是可量化的、可测度的、有形式的，可被访问、生成、存储、分发、搜索、压缩和复制。
信息可以通过数量或信息量进行量化。，信息可转换为知识，知识要比信息更量化。在某些领域，知识持续经历一个不断发展周期。当数据发生变化时，这种演变过程随之发生。

通过离散算法

  • 数据转换：数据被转换成信息，得到进一步处理，然后用来解决问题

　- 数据的种类不同，包括表现数据, 实验数据,基准数据

可视化的整个过程需要不用技能和专业领域的人。

数据工人努力收集数据并完成分析
数学家和统计学家理解可视化设计原则，并用这些原则完成数据交流
设计师和艺术家和开发者具备可视化转换的技能
业务分析员等找寻行为模式，离群点或突发趋势
整个过程额步骤是：
  • 获取或收集数据：
  • 解析和过滤数据：用编程方法进行解析、清洗和减少数据
  • 分析提炼数据： 删除噪音和一些不必要维度，发展模式
  • 呈现和交互 用更容易得到和理解的方式展示数据

数据预处理

  • 数据清洗：用于数据的噪音清理和矛盾纠正
  • 数据集成：将多个数据源的数据合并起来（仓库）
  • 数据压缩：通过合并、聚集、消除冗余特征等方法减少数据量

  • 数据转换：将数据缩放到一个较小的区间，从而提高处理和可视化的精确性和效率

    • 提取数据 -> 删除不一致数据 ->重建缺失数据 ->数据标准化 -> 验证数据

-

数据处理

数据集资源

数据分析与可视化

这里我们会使用下面几种绘图工具

  • matplotlib： 是一个最基础的Python可视化库，作图风格接近MATLAB，所以称为matplotlib。一般都是从matplotlib上手Python数据可视化，然后开始做纵向与横向拓展
  • Seaborn:是一个基于matplotlib的高级可视化效果库，针对的点主要是数据挖掘和机器学习中的变量特征选取，seaborn可以用短小的代码去绘制描述更多维度数据的可视化效果图
  • Plotly： 绘图工具，是建立在一个开放源码库plotly.js上，由一家拥有多种产品和开源工具的
  • Pyecharts : 是基于百度echarts的一个开源项目，也是我目前接触到的最容易实现交互可视化的工具，相比bokeh和plotly，pyecharts的语法更简单，实现效果更佳出众(做过前端的对这个应该很了解)
  • Bokeh: 是一个用于做浏览器端交互可视化的库，实现分析师与数据的交互
  • pandas： 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。
  • Mapbox: 处理地理数据引擎更强的可视化工具库
  • geoplotlib
  • cufflinks： a library for easy interactive Pandas charting with Plotly

图形公司创造并提供免费使用，我们可以在离线模式下创建无限图表，在线模式下最多可以创建25个图表
当然，找更多工具戳这里

数据的可视化是表达信息的过程，在可视化化过程我们要思考：

  • 要处理多少变量？我们试图画出怎样的图像？
  • x轴和y轴指代什么？（三维图中有ｚ轴）
  • 数据的大小是否被标准化?数据点的大小意味着什么？
  • 我们的选色对吗？
  • 对于时间序列数据，我们是否试图识别趋势或相关性

这里有个学生数据：http://www.knapdata.com/pytho...
Python学习笔记：数据可视化(一)

# -*- coding:utf-8 -*-
# usr/bin/python 3.5+
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

students = pd.read_csv("data/ucdavis.csv")

g = sns.FacetGrid(students, hue="gender", palette="Set1", size=6)
g.map(plt.scatter, "gpa", "computer", s=250, linewidth= 0.65, edgecolor="white")

g.add_legend()
plt.show()

seaborn: http://seaborn.pydata.org/api...

  • FacetGrid 类可以刻画三个维度：　行、列、色调

　- 用于对数据子集中的一个变量的分布或者多个变量关系进行可视化

barchart

matplotlib.pyplot.bar

import numpy as np
import matplotlib.pyplot as plt

N = 7
winnersplot = (142.6, 125.3, 62.0, 81.0, 145.6, 319.4, 178.1 )
ind = np.arange(N)
width = 0.35
fig, ax = plt.subplots()
winners = ax.bar(ind, winnersplot, width, color='#ffad00')
print(winners)

nomineesplot = (109.4, 94.8, 60.7, 44.6, 116.9,262.5,102.0)
nominees = ax.bar(ind + width, nomineesplot, width, color='#9b3c38')

# add some text for labels ,title and axes ticks

ax.set_xticks(ind+width)
ax.set_xticklabels(('小明', '小红', '小凡', '小钱', '小刘', '小赵', '小文'))
ax.legend((winners[0], nominees[0]),('奥斯卡金奖得住','奥斯卡得住提名'))

def autolabel(rects):
    # attach some text labels
   for rect in rects:
       height = rect.get_height()
       hcap = "$" + str(height) + "M"
       ax.text(rect.get_x() + rect.get_width()/2. ,height, hcap,ha = 'center',va='bottom',rotation='horizontal')

autolabel(winners)
autolabel(nominees)

plt.show()

Python学习笔记：数据可视化(一)

piechart

matplotlib.pyplot.pie
Python学习笔记：数据可视化(一)

import matplotlib.pyplot as plt
labels = 'Computer Science', 'Foreign Languges','Analytical Chemistry', 'Education', 'Humanities', 'Physics', 'Biology', 'Math and Statistics', 'Engineering'
sizes = [21, 4, 7, 7, 8, 9, 10, 15, 19]
colors = ['yellowgreen', 'gold', 'lightskyblue', 'lightcoral','red', 'purple', '#f280de', 'orange', 'green']
explode = (0,0,0,0,0,0,0,0,0.1)
plt.pie(sizes, explode=explode, labels=labels, autopct='%1.1f%%',colors=colors)
plt.axis('equal')
plt.show()

box chart

scatter

散点图

散点图是同一组研究对象的两个变量间关系的可视化

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
students = pd.read_csv("data/ucdavis.csv")
g = sns.FacetGrid(students, palette="Set10",size=7)
g.map(plt.scatter, "momheight", "height",s=140, linewidth=.7,edgecolor = "#ffad40",color="#ff8000")
g.set_axis_labels("Mothers Heilsght", "Students Height")
plt.show()

Python学习笔记：数据可视化(一)
散点图最适合研究不同变量之间的关系：

  • 男性与女性人群中不同年龄阶段得皮肤病的可能性
  • IQ测试得分和GPA之间的相关性

另外我们还要考虑：

  • 添加一条趋势线或最佳拟合线（如果关系是线性的）：添加趋势线可以展示数据之间的关联性
  • 使用信息标记类型：信息标记类型适用于通过形状和颜色提高视觉效果来解读数据的情况

气泡图

气泡图展示了数据的三个维度，每个数据点有三重维度(a, b , c), xy轴的坐标表示两个维度变量，气泡的大小表示第三个维度的定量测度结果

Histograms直方图

直方图(Histogram)又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据类型，纵轴表示分布情况。

import numpy as np
import pandas as pd
from scipy import stats, integrate
import matplotlib.pyplot as plt  #导入

import seaborn as sns
sns.set(color_codes=True)#导入seaborn包设定颜色

np.random.seed(sum(map(ord, "distributions")))
x = np.random.normal(size=100)
sns.distplot(x, kde=False, rug=True);#kde=False关闭核密度分布,rug表示在x轴上每个观测上生成的小细条（边际毛毯）
plt.show()

Python学习笔记：数据可视化(一)
当绘制直方图时，你最需要确定的参数是矩形条的数目以及如何放置它们。利用bins可以方便设置矩形条的数量。如下所示：

sns.distplot(x, bins=20, kde=False, rug=True);#设置了20个矩形条

Python学习笔记：数据可视化(一)

核密度估计图

核密度估计（Kernel Density Estimation, KDE）是一种用来估计概率密度函数的非参数方法。可以通过观测到的数据点取平均实现平滑逼近。

核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一。．由于核密度估计方法不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，因而，在统计学理论和应用领域均受到高度的重视。

核密度函数与直方图密切相关，但有时能够通过核概念用平滑性或连续性赋予实际含义。
概率密度函数(Probablity Density Function,PDF)的核是PDF的形式。这种形式不考虑非变量函数因素。

这里我们用一个鸢尾花数据集和seaborn包展示KDE图
使用seaborn 和matplotlib演示KDE图

seaborn.distplot

This function combines the matplotlib hist function (with automatic calculation of a good default bin size) with the seaborn kdeplot() and rugplot() functions. It can also fit scipy.stats distributions and plot the estimated PDF over the data.

seaborn的displot()集合了matplotlib的hist()与核函数估计kdeplot的功能，增加了rugplot分布观测条显示与利用scipy库fit拟合参数分布的新颖用途。具体用法如下：

seaborn入门（一）：distplot与kdeplot
seaborn.kdeplot

  • distplot()

distplot 函数默认同时绘制直方图和KDE(核密度图)
Python学习笔记：数据可视化(一)

from numpy.random import randn
import matplotlib as mpl
import seaborn as sns
import matplotlib.pyplot as plt

#引入鸢尾花数据集
df_iris = sns.load_dataset("iris")
fig, axes = plt.subplots(1,2)
# print(df_iris['petal_length'])
# print(axes[0])


# distplot 函数默认同时绘制直方图和KDE(核密度图),开启rug细条
sns.distplot(df_iris['petal_length'], ax= axes[0], rug = True)
# shade 阴影
sns.kdeplot(df_iris['petal_length'], ax = axes[1], shade = True)

plt.show()

如果不需要核密度图，可以将kde参数设置成False。

sns.distplot(df_iris['petal_length'], ax= axes[0], kde = False, rug = True)

Python学习笔记：数据可视化(一)
如果不需要核密度图，可以将hist参数设置成False。

sns.distplot(df_iris['petal_length'], ax= axes[0], hist = False, rug = True)

Python学习笔记：数据可视化(一)

# Fitting parametric distributions拟合参数分布

# 可以利用distplot() 把数据拟合成参数分布的图形并且观察它们之间的差距,再运用fit来进行参数控制。


import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

sns.set(style="white", palette="muted", color_codes=True)
rs = np.random.RandomState(10)

# Set up the matplotlib figure
f, axes = plt.subplots(2, 2, figsize=(7, 7), sharex=True)
sns.despine(left=True)

#引入鸢尾花数据集
df_iris = sns.load_dataset("iris")

# Plot a simple histogram with binsize determined automatically

sns.distplot(df_iris['petal_length'], ax= axes[0, 0], kde = False, color="b")

# Plot a kernel density estimate and rug plot

sns.distplot(df_iris['petal_length'], ax= axes[0, 1], kde = False, color="r", rug=True)

# Plot a filled kernel density estimate

sns.distplot(df_iris['petal_length'], ax= axes[1, 0], hist = False, color="g", kde_kws={"shade": True})

# Plot a historgram and kernel density estimate
sns.distplot(df_iris['petal_length'], color="m", ax=axes[1, 1])

plt.setp(axes, yticks=[])
plt.tight_layout()
plt.show()

Python学习笔记：数据可视化(一)

Fitting parametric distributions拟合参数分布

使用Scipy和Numpy演示KDE图
  • 我们用Scipy 和 Numpy表明概率密度函数
  • 首先用Scipy中的norm()创建正态分布样本
  • 然后用Numpy中的hstack()进行水平方向上的堆叠
  • 再用Scipy中的gaussian_kde()
from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace, hstack
import matplotlib.pyplot as plt
from matplotlib.pylab import plot,show, hist

sample1 = norm.rvs(loc=-0.1,scale=1,size=320)
sample2 = norm.rvs(loc=2.0,scale=0.6,size=130)
sample = hstack([sample1,sample2])
probDensityFun = gaussian_kde(sample)
plt.title("KDE Demonstration using Scipy and Numpy",fontsize=20)
x = linspace(-5,5,200)
plot(x,probDensityFun(x),'r')
hist(sample,normed=1,alpha=0.45,color='purple')
show()

Python学习笔记：数据可视化(一)

利用kdeplot探索某大学学生消费习惯与助学金获得关系
数据集如下所示：
Python学习笔记：数据可视化(一)

表面三维图

常见案例

Ebola案例

体育案例

美国死亡率

金融与统计模型

统计与机器学习

生物信息学、遗传学与网络模型

高级可视化

更多内容可好看白鲸鱼的另一个学习记录：
可视化技术栈及学习计划

参考

数据可视化
Python数据可视化-seaborn
matplotlib 绘图可视化知识点整理
10分钟python图表绘制 | seaborn入门（一）：distplot与kdeplot
Python mpl_toolkits画3D图
matplotlib basemap toolkit
matplotlib教程: http://nbviewer.jupyter.org/g...
python学习教程notes-python： http://nbviewer.jupyter.org/g...
9102年，该放弃matplotlib画图了
Pycon 2017： Python可视化库大全
Python中除了matplotlib外还有哪些数据可视化的库？

10 Useful Python Data Visualization Libraries for Any Discipline
Python Data Visualization: Comparing 7 tools
Dashboard API in Python
Bokeh Applications
pyecharts + notebook，真的不需要PPT了耶
三个步骤学习python可视化
一张图看懂如何选择正确的图表类型

数据可视化 大数据 ul python seaborn

IT小牛的IT见解

IT小牛的IT见解

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Python数据可视化，seaborn如何做出非常规图表

上一节我们只是单纯使用 matplotlib 制作出以下图表：。最常见的就是使用 seaborn ，他是基于 matplotlib 的包装。这一节我们就来看看，如何使用 seaborn 生成标准图表，然后结合 matplotlib 做出定制效果。特别是多系

comtop0 2020-10-31

8个流行的Python可视化工具包，你喜欢哪个？

喜欢用 Python 做项目的小伙伴不免会遇到这种情况：做图表时，用哪种好看又实用的可视化工具包呢？之前文章里出现过漂亮的图表时，也总有读者在后台留言问该图表时用什么工具做的。下面，作者介绍了八种在 Python 中实现的可视化工具包，其中有些包还能用在其

alili 2020-09-08

数据可视化（基于matplotlib、seaborn库）

#b蓝色，--虚线，-实线，.点线，.-点划线，+加号线，等等，线型可随意组合，linewidth线宽。plt.style.use#设置画布大小 plt.figure #scatter绘制散点图，s设置点大小 plt.scatter. 我们来看看seabo

Tonybo 2020-04-27

.NET可视化权限功能界面设计

企业做生意，都会聘请员工，若是员工数量较多，“权限管理”必不可少，这样的好处是可以使员工的管理规范化，提供工作效率，同时基于互联网模式，移动办公也成为可能。我们通常所说的权限管理，一般指根据系统设置的安全规则或者安全策略，用户可以访问而且只能访问自己被授权

嵌入式企鹅圈 2020-10-27

有了这款低代码工具，报表开发可以告别996啦

最近低代码、零代码很火，网络一搜，各家都鼓吹自己零代码开发的平台。确实，近十年IT的发展以及互联网产品的推动，使得很多细分领域的工具都呈现出一种简单易用少开发轻量化的趋势。比如我所熟知的报表和BI领域，很多公司都有数据采集、数据处理、数据展示等一系列数据“

comtop0 2020-09-18

超硬核的 Python 数据可视化教程！

python中最基本的作图库就是matplotlib，是一个最基础的Python可视化库，一般都是从matplotlib上手Python数据可视化，然后开始做纵向与横向拓展。是一个基于matplotlib的高级可视化效果库，针对的点主要是数据挖掘和机器学习

xirongxudlut 2020-09-02

从数据库到可视化性能，5个大数据分析工具测评，python只排倒数

大数据时代，大数据分析行业水涨船高，很多身边的朋友都想学习一下如何进行大数据分析。经常有人问我该怎么选择大数据分析工具。也对，面对市面上那么多大数据分析工具，大家在选择的时候都会懵一下。为了解答大家的疑惑，今天我测评了5款较为常用的大数据分析工具，来给大家

wndong 2020-08-21

数据可视化工具：Tableau仪表板和Smartbi自助仪表盘对比（一）

先给大家介绍下tableau与smartbi创建可视化仪表盘的简要步骤。由以上流程图可以简单了解到，tableau的可视化仪表板是由各个工作表组合而成，而smartbi是在一个界面完成，即可以做单个组件也可以在编辑界面在制作各个组件的同时对整个仪表盘的布局

Leonwey 2020-08-02

数据可视化工具：Tableau仪表板 vs Smartbi自助仪表盘（二）

上一章节介绍了如何接入数据到系统里面，并且对数据进行处理。那本章节与大家分享smartbi及tableau是如何对数据进行仪表盘制作。以上看到的是tableau的工作簿界面，是tableau可视化显示最基本的元素，在此界面可以看到左侧有一个维度和度量区域。

Tonybo 2020-08-02

数据可视化之-superset

Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。Superset是由Python语言编写的Web应用，要求Python3.6的环境。此处，

YtSports 2020-07-28

不使用Matplotlib在Python中创建可视化的最简单方法

Matplotlib 通常被认为是在 Python 中创建可视化的最简单方法，它构成了许多其他绘图库的基础。直接从Pandas绘制有许多优点：。此外，Pandas在我们想要它绘制的图中做很多推论，因此它可以在很多情况下可视化我们想要的，而无需显式声明它们。

syThinkCool 2020-07-16

你知道怎么选可视化工具吗？深度评测5大Python数据可视化工具

相信很多读者都听过Matplotlib 、 Pyecharts 、 Seaborn 、 Plotly 、 Bokeh这五大工具，学习Python就是希望做出各种酷炫的可视化图表，本文就将通过真实绘图来深度评测这五个Python数据可视化的库， 看看到底这几

flyfor0 2020-07-16

大数据可视化（万物互联）

数据可视化是数据空间到图形空间的映射，是抽象数据的具象表达。数据可视化交互的基本原则：总览为先，缩放过滤按需查看细节。大屏数据可视化是当前可视化领域的一项热门应用，通常可以分为信息展示类、数据分析类及监控预警类。

SanBa 2020-07-08

matlab可视化程序设计（1）

data=[116 118 120 122 124 126 128 130 132 134 136 137;0 20 82 210 418 732 1212 1700 2730 3600 4460 4880;0 8 16 24 28 30 32 40 48

HongAndYi 2020-07-04

小白也可以玩转的炫酷大屏！

从2015年开始，数据可视化大屏备受很多企业青睐，也是展现公司业务数据的不二之选。可视化大屏怎么这么火？领导天天要，业务人员、开发人员、UI设计师就得一起熬夜加班。那么，有没有一种简单高效、还能快速上手的可视化工具，小白也可以快速上手的工具呢？此外，还包含

王国平 2020-06-20

Python数据可视化图实现过程详解

names = ['mentioned1cluster','mentioned2cluster', 'mentioned3cluster', 'mentioned4cluster', 'mentioned5cluster', 'mentioned6clus

Eric0Lv 2020-06-14

实用的可视化数据分析工具，让你的日常报告不再枯燥

我们都明白，相对于枯燥的文字，一些有视觉冲击的事物印象更深。在工作过程中，如在日常的工作汇报中，将采集到的数据信息进行统计、分析，再将数据用图形的方式表达。会方便我们对数据的把控，更直观了解到数据情况。这就是今天要给大家介绍的可视化。下面，我们来探讨下如何

june0 2020-06-11

可视化数据分析工具有哪些？

想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。为了满足并超越

仁鱼 2020-06-05

自助数据分析软件，Smartbi数据可视化工具免费体验

数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。为业务人员量身定做，一屏完成自助分析，界面清新脱俗，10分钟掌握！Smartbi自助仪表盘为企业级用户提供数据自助分析服务，化数据为价值，有效解决企业大数据隐患，大幅度降低沟通成本，提高企业营运

天涯莺歌 2020-06-04

公安系统可视化管理平台设计方案

虽然三维GIS有二维GIS不能类比的优点，可是在相当长时间内还没法彻底取代二维GIS。为了最大限度地运用二维资源，使二维GIS与三维GIS展开集成并完成联动，进而完成在同一架构管理体系下使二者互利共赢。

Leonwey 2020-06-01
IT小牛的IT见解

IT小牛的IT见解

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号