安科网

Python 数据分析之 pandas 进阶(一)

wangquannuaa

wangquannuaa

2019-06-21

关注 关注

导入本篇中使用到的模块：

import numpy as np
    import pandas as pd
    from pandas import Series, DataFrame

我们可以调整数据输出框大小以便观察：

pd.set_option('display.width', 200)

一、创建对象
1、可以通过传递一个list对象来创建一个Series，pandas会默认创建整型索引：

s = pd.Series([1,3,5,np.nan,6,8])
    s
    0     1
    1     3
    2     5
    3   NaN
    4     6
    5     8
    dtype: float64

2、通过传递一个numpy array，时间索引以及列标签来创建一个DataFrame：

dates = pd.date_range('20130101', periods=6)
    df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
    dates
    df
    DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
                   '2013-01-05', '2013-01-06'],
                  dtype='datetime64[ns]', freq='D')
     
                A           B            C            D
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238

3、通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame：

df2 = pd.DataFrame({'A':1.,
                        'B':pd.Timestamp('20130102'),
                        'C':pd.Series(1, index=list(range(4)),dtype='float32'),
                        'D':np.array([3] * 4, dtype='int32'),
                        'E':pd.Categorical(['test','train', 'test','train']),
                        'F':'foo'
                       })
    df2

4、查看不同列的数据类型：

df2.dtypes 
    A           float64
    B    datetime64[ns]
    C           float32
    D             int32
    E          category
    F            object
    dtype: object

5、使用Tab自动补全功能会自动识别所有的属性以及自定义的列

二、查看数据
1.查看Frame中头部和尾部的行：

df.head() 
                A            B                C            D
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
df.tail(3)
     
                A            B            C            D
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238

2、显示索引、列和底层的numpy数据：

df.index
     
    DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
                   '2013-01-05', '2013-01-06'],
                  dtype='datetime64[ns]', freq='D')
df.columns
     
    Index(['A', 'B', 'C', 'D'], dtype='object')

3、describe()函数对于数据的快速统计汇总：

df.describe()
     
        A            B            C            D
    count    6.000000    6.000000    6.000000    6.000000
    mean    -0.256300    0.103596    0.283858    0.158536
    std    0.854686    1.060269    1.181208    0.973309
    min    -1.857957    -1.211098    -1.031190    -1.295228
    25%    -0.412452    -0.477042    -0.429298    -0.395927
    50%    0.162550    -0.158711    -0.058369    0.365058
    75%    0.214610    0.747641    0.911070    0.630084
    max    0.367213    1.683491    2.169802    1.447487

4、对数据的转置(tranverse):

df.T
     
        2013-01-01     2013-01-02     2013-01-03    2013-01-04     2013-01-05     2013-01-06 
            00:00:00        00:00:00        00:00:00        00:00:00        00:00:00        00:00:00
    A    -1.857957    0.139027    -0.596279    0.367213    0.224122    0.186073
    B    -0.297110    1.683491    -1.211098    -0.020313    1.003625    -0.537019
    C    0.135704    -1.031190    1.169525    2.169802    -0.488250    -0.252442
    D    0.199878    1.447487    0.663366    -1.295228    -0.594528    0.530238

5、按轴进行排序：

df.sort_index(axis=1,ascending=False)
     
                D            C            B            A
    2013-01-01    0.199878    0.135704    -0.297110    -1.857957
    2013-01-02    1.447487    -1.031190    1.683491    0.139027
    2013-01-03    0.663366    1.169525    -1.211098    -0.596279
    2013-01-04    -1.295228    2.169802    -0.020313    0.367213
    2013-01-05    -0.594528    -0.488250    1.003625    0.224122
    2013-01-06    0.530238    -0.252442    -0.537019    0.186073

6、按值进行排序：

df.sort(columns='B')
     
                A            B            C            D
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
    2013-01-02    0.139027    1.683491    -1.031190    1.447487

三、选择数据
以下是将要操作的数组：

df
     
                A            B            C            D
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238

1、获取数据

(1)、选择一个单独的列，这将会返回一个Series:

df['A']
     
    2013-01-01   -1.857957
    2013-01-02    0.139027
    2013-01-03   -0.596279
    2013-01-04    0.367213
    2013-01-05    0.224122
    2013-01-06    0.186073
    Freq: D, Name: A, dtype: float64

(2)、通过[]进行选择，即：切片

df[0:3]
     
                A            B            C             D
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366

2、标签选择

(1)、使用标签来获取一个交叉的区域

df.loc[dates[0]]
     
    A   -1.857957
    B   -0.297110
    C    0.135704
    D    0.199878
    Name: 2013-01-01 00:00:00, dtype: float64

(2)、通过标签来在多个轴上进行选择

df.loc[:,['A', 'B']]
     
                A              B
    2013-01-01    -1.857957    -0.297110
    2013-01-02    0.139027    1.683491
    2013-01-03    -0.596279    -1.211098
    2013-01-04    0.367213    -0.020313
    2013-01-05    0.224122    1.003625
    2013-01-06    0.186073    -0.537019

(3)、标签切片

df.loc['20130102':'20130104', ['A','B']]
     
                A            B
    2013-01-02    0.139027    1.683491
    2013-01-03    -0.596279    -1.211098
    2013-01-04    0.367213    -0.020313

(4)、对于返回的对象进行维度缩减

df.loc['20130102', ['A','B']]
     
    A    0.139027
    B    1.683491
    Name: 2013-01-02 00:00:00, dtype: float64

(5)、获取一个标量

df.loc[dates[0], 'A']
     
    -1.8579571971312099

3、位置选择

(1)、通过传递数值进行位置选择（选择的是行）

df.iloc[3]
     
    A    0.367213
    B   -0.020313
    C    2.169802
    D   -1.295228
    Name: 2013-01-04 00:00:00, dtype: float64

(2)、通过数值进行切片

df.iloc[3:5,0:2]
     
                A             B
    2013-01-04    0.367213    -0.020313
    2013-01-05    0.224122    1.003625

(3)、通过指定一个位置的列表

df.iloc[[1,2,4],[0,2]]
     
                A            C
    2013-01-02    0.139027    -1.031190
    2013-01-03    -0.596279    1.169525
    2013-01-05    0.224122    -0.488250

(4)、对行进行切片

df.iloc[1:3,:]
     
                A            B            C            D
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366

(5)、获取特定的值

df.iloc[1,1]
     
    1.6834910794696132

4、布尔索引

(1)、使用一个单独列的值来选择数据：

df[df.A > 0]
     
                A            B             C            D
    2013-01-02    0.139027    1.683491    -1.031190    1.447487
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238

(2)、使用where操作来选择数据：

df[df > 0]
     
                A            B            C            D
    2013-01-01    NaN            NaN            0.135704    0.199878
    2013-01-02    0.139027    1.683491    NaN            1.447487
    2013-01-03    NaN            NaN            1.169525    0.663366
    2013-01-04    0.367213    NaN            2.169802    NaN
    2013-01-05    0.224122    1.003625    NaN            NaN
    2013-01-06    0.186073    NaN            NaN            0.530238

(3)、使用isin()方法来过滤：

df2 = df.copy()
    df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
    df2
     
                A            B             C            D            E
    2013-01-01    -1.857957    -0.297110    0.135704    0.199878    one
    2013-01-02    0.139027    1.683491    -1.031190    1.447487    one
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366    two
    2013-01-04    0.367213    -0.020313    2.169802    -1.295228    three
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528    four
    2013-01-06    0.186073    -0.537019    -0.252442    0.530238    three
df2[df2['E'].isin(['two', 'four'])]
     
                A            B             C            D            E
    2013-01-03    -0.596279    -1.211098    1.169525    0.663366    two
    2013-01-05    0.224122    1.003625    -0.488250    -0.594528    four

5、设置

(1)、设置一个新的列：

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
    s1
     
    2013-01-02    1
    2013-01-03    2
    2013-01-04    3
    2013-01-05    4
    2013-01-06    5
    2013-01-07    6
    Freq: D, dtype: int64
df['F'] = s1
    df
     
                A            B            C            D    F
    2013-01-01    0.000000    0.000000    0.135704    5    NaN
    2013-01-02    0.139027    1.683491    -1.031190    5    1
    2013-01-03    -0.596279    -1.211098    1.169525    5    2
    2013-01-04    0.367213    -0.020313    2.169802    5    3
    2013-01-05    0.224122    1.003625    -0.488250    5    4
    2013-01-06    0.186073    -0.537019    -0.252442    5    5

(2)、设置新值

df.at[dates[0],'A'] = 0  #通过标签设置新值
    df.iat[0,1] = 0  #通过位置设置新值
    df.loc[:, 'D'] = np.array([5] * len(df))  #通过一个numpy数值设置一组新值
    df
     
                A            B            C            D    F
    2013-01-01    0.000000    0.000000    0.135704    5    NaN
    2013-01-02    0.139027    1.683491    -1.031190    5    1
    2013-01-03    -0.596279    -1.211098    1.169525    5    2
    2013-01-04    0.367213    -0.020313    2.169802    5    3
    2013-01-05    0.224122    1.003625    -0.488250    5    4
    2013-01-06    0.186073    -0.537019    -0.252442    5    5

四、缺失值处理

在pandas中，使用np.nan来代替缺失值，这些值将默认不会包含在计算中。所处理的数组是：

df
     
                A            B            C            D    F
    2013-01-01    0.000000    0.000000    0.135704    5    NaN
    2013-01-02    0.139027    1.683491    -1.031190    5    1
    2013-01-03    -0.596279    -1.211098    1.169525    5    2
    2013-01-04    0.367213    -0.020313    2.169802    5    3
    2013-01-05    0.224122    1.003625    -0.488250    5    4
    2013-01-06    0.186073    -0.537019    -0.252442    5    5

1、reindex()方法可以对指定轴上的索引进行改变/增加/删除操作，这将返回原始数据的一个拷贝：

df1 = df.reindex(index=dates[0:4],columns=list(df.columns) + ['E'])
    df1.loc[dates[0]:dates[1], 'E'] = 1
    df1
     
     
                    A            B            C            D    F    E
    2013-01-01    0.000000    0.000000    0.135704    5    NaN    1
    2013-01-02    0.139027    1.683491    -1.031190    5    1    1
    2013-01-03    -0.596279    -1.211098    1.169525    5    2    NaN
    2013-01-04    0.367213    -0.020313    2.169802    5    3    NaN

2、去掉包含缺失值的行：

df1.dropna(how='any')
  
             A            B            C            D    F    E
 2013-01-02    0.139027    1.683491    -1.03119    5    1    1

3、对缺失值进行填充：

df1.fillna(value=5)
     
                A            B            C            D    F    E
    2013-01-01    0.000000    0.000000    0.135704    5    5    1
    2013-01-02    0.139027    1.683491    -1.031190    5    1    1
    2013-01-03    -0.596279    -1.211098    1.169525    5    2    5
    2013-01-04    0.367213    -0.020313    2.169802    5    3    5

4、对数据进行布尔填充：

pd.isnull(df1)
     
                A    B    C    D    F    E
    2013-01-01    False    False    False    False    True    False
    2013-01-02    False    False    False    False    False    False
    2013-01-03    False    False    False    False    False    True
    2013-01-04    False    False    False    False    False    True

五、合并

pandas提供了大量的方法能够轻松的对Series、DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。

1、Concat

df = pd.DataFrame(np.random.randn(10, 4))
    df
     
        0            1            2             3
    0    0.680581    1.918851    0.521201    -0.389951
    1    0.724157    2.282989    0.648427    -0.827308
    2    2.437781    0.232518    1.066197    -0.233117
    3    0.038747    3.174875    -1.384120    0.322864
    4    -0.835962    1.015841    0.042094    -1.903701
    5    0.095194    1.926612    0.512825    0.786349
    6    -1.098231    -0.669381    -0.623124    -0.411114
    7    -1.229527    -0.738026    0.453683    -2.037488
    8    -0.499546    -0.816864    -0.395079    -0.320400
    9    0.850367    1.047287    -1.205815    -1.287821
pieces = [df[:3], df[3:7], df[7:]]
    # break it into pieces
    pieces
     
    [          0         1         2         3
     0  0.680581  1.918851  0.521201 -0.389951
     1  0.724157  2.282989  0.648427 -0.827308
     2  2.437781  0.232518  1.066197 -0.233117,
               0         1         2         3
     3  0.038747  3.174875 -1.384120  0.322864
     4 -0.835962  1.015841  0.042094 -1.903701
     5  0.095194  1.926612  0.512825  0.786349
     6 -1.098231 -0.669381 -0.623124 -0.411114,
               0         1         2         3
     7 -1.229527 -0.738026  0.453683 -2.037488
     8 -0.499546 -0.816864 -0.395079 -0.320400
     9  0.850367  1.047287 -1.205815 -1.287821]

2、Append将一行连接到一个DataFrame上

df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
    df
     
        A            B            C            D
    0    -0.923050    -1.798683    -0.543700    0.983715
    1    -0.031082    1.069746    -0.761914    0.142136
    2    0.178376    -0.984427    0.270601    0.737754
    3    -0.882595    0.057637    -1.027661    -1.829378
    4    0.570082    0.210366    0.805305    -1.233238
    5    0.442322    0.709155    -0.304849    0.885378
    6    -0.218852    0.052263    0.467727    0.832747
    7    0.516890    0.005642    -0.990794    -1.624444
s = df.iloc[3]
    df.append(s, ignore_index=True)
     
        A            B            C            D
    0    -0.923050    -1.798683    -0.543700    0.983715
    1    -0.031082    1.069746    -0.761914    0.142136
    2    0.178376    -0.984427    0.270601    0.737754
    3    -0.882595    0.057637    -1.027661    -1.829378
    4    0.570082    0.210366    0.805305    -1.233238
    5    0.442322    0.709155    -0.304849    0.885378
    6    -0.218852    0.052263    0.467727    0.832747
    7    0.516890    0.005642    -0.990794    -1.624444
    8    -0.882595    0.057637    -1.027661    -1.829378

以上代码不想自己试一试吗？
镭矿 raquant提供 jupyter(研究） 在线练习学习 python 的机会，无需安装 python 即可运行 python 程序。

pandas dataframe python

wangquannuaa

wangquannuaa

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

秒懂！图解四个实用的Pandas函数！

在用Python进行机器学习或者日常的数据处理中，Pandas是最常用的Python库之一，熟练掌握pandas是每一个数据科学家的必备技能，本文将用代码+图片详解Pandas中的四个实用函数!面对这样的需求我们可以选择自己写一个函数完成，但是使用pand

roamer 2020-10-29

高效的10个Pandas函数，你都用过了吗？

andas是python中最主要的数据分析库之一，它提供了非常多的函数、方法，可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。这篇文章将会配合实例，讲解20个重要的pandas函数。其中有一些很常用，相信你可能用到过

三石 2020-08-23

高效的10个Pandas函数，你都用过吗？

Pandas是python中比较主要的数据分析库之一，它提供了非常多的函数、方法，可以高效地处理并分析数据。让pandas如此受欢迎的原因是它简洁、灵活、功能强大的语法。这篇文章将会配合实例，讲解10个重要的pandas函数。其中有一些很常用，相信你可能用

QianYanDai 2020-08-16

pandas 的DataFrame.apply()

pandas的apply函数是自动根据function遍历每一个数据，然后返回一个数据结构为Series的结果

mmmjyjy 2020-07-16

【Pandas】基本功能

结合自己的经验，我觉得Pandas的本质是类似于Matlab、Eviews之类的数据分析软件。只是其他的被人做成了有UI界面的软件。从Pandas的结构来看，最核心的两个类。其他功能是围绕这两个类进行了功能上的扩展。为了保持学习的趣味性，我觉得按照实际使用

QianYanDai 2020-07-05

【pandas】概述

Pandas是python中运用很广泛的统计分析库，用于各种金融、工业、等等统计分析，适用于各种时间序列和面板数据等。而对应于Pandas库，最主要的两个类分别是Series和DataFrame。Pandas是numpy的一种扩展，因此很多高级的数据计算方

QianYanDai 2020-07-05

使用PYODBC将数据从Pandas的DataFrame写入SQL Server

总公司的某数据以文件形式存放在FTP服务器上，现将其移植到我本地的SQL服务器。#由于informix生成的unl文件为cp936编码，pandas 读取时会对有些汉字报错，所以转为utf-8. #对_tmp.txt 文件读取时，要注意纯数字的格式转换,

jiahaohappy 2020-06-21

pandas基础操作（一）

Pandas基于两种数据类型： series 与 dataframe. DataFrame：是一个二维的表结构。df[[‘code‘]] # 选取一列，生成一个DataFrame. df[1:3] #第1行到第2行。loc，在知道列名字的情况下，df

QianYanDai 2020-06-16

pandas用法总结

with codecs.open as f: for line in f: line_split = line.strip().split items.append

zhangxiaojiakele 2020-05-25

使用pandas库对csv文件进行筛选和保存

多数大佬都是直接pandas官网甩我脸上，然后举一个入门级的例子。这个函数里面需要写入csv文件的路径，如果是把csv文件保存到了python的工程文件夹下，则只需要./文件名即可，然后encoding=‘utf-8‘是使用utf-8方式编码，有时候需要换

jzlixiao 2020-05-15

pandas对角线值修改

df = pd.DataFrame(np.arange(16).reshape((4, 4)), index=[‘a‘, ‘b‘, ‘c‘, ‘d‘], columns=[‘i‘, ‘j‘, ‘k‘, ‘f‘]). array([[ 0, 1, 2,

jiahaohappy 2020-05-12

pandas学习

Python中的pandas模块进行数据分析。在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引

zhangxiaojiakele 2020-05-11

Pandas详解

Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy；用于数据挖掘和数据分析，同时也提供数据清洗功能。Pandas有三大数据结构，Series、DataFrame以及Panel。仅由一组数据也可产生简单的Series对象。DataFra

jzlixiao 2020-05-08

pandas -- numpy++

Series是一种类似于一维数组的对象,由一组数据以及一组与之对应的索引组成。 index: 索引序列,必须是唯一的,且与数据的长度相同. 如果没有传入索引参数,则默认会自动创建一个从0~N的整数索引

jzlixiao 2020-05-09

教你几招，Pandas轻松处理超大规模数据

处理大规模数据集时常是棘手的事情，尤其在内存无法完全加载数据的情况下。在资源受限的情况下，可以使用 Python Pandas 提供的一些功能，降低加载数据集的内存占用。可用技术包括压缩、索引和数据分块。在上述过程中需要解决一些问题，其中之一就是数据量过大

三石 2020-10-30

Python 中利用Pandas处理复杂的Excel数据

关于Excel数据处理，很多同学可能使用过Pyhton的pandas模块，用它可以轻松地读取和转换Excel数据。但是实际中Excel表格结构可能比较杂乱，数据会分散不同的工作表中，而且在表格中分布很乱，这种情况下啊直接使用pandas就会非常吃力。本文虫

三石 2020-10-29

不常见的Pandas小窍门：我打赌一定有你不知道的

作为一名数据分析师或数据科学家，不了解Python中的Pandas库是无论如何说不过去的，它已经成为Python中用来整理、清理数据的标准工具了。然而，关于Pandas，你确定自己完全掌握了嘛?本文将分享一些少见但有用的Pandas技巧，它们能提升工作效率

wangquannuaa 2020-10-15

在pandas中利用hdf5高效存储数据

1 简介HDF5是用于存储大规模数值数据的较为理想的存储格式。在Python中操纵HDF5文件的方式主要有两种，一是利用pandas中内建的一系列HDF5文件操作相关的方法来将pandas中的数据结构保存在HDF5文件中，二是利用h5py模块来完成从Pyt

wangquannuaa 2020-09-29

别找了，这是Pandas最详细教程了

Python 是开源的，它很棒，但是也无法避免开源的一些固有问题：很多包都在做同样的事情。如果你是 Python 新手，那么你很难知道某个特定任务的最佳包是哪个，你需要有经验的人告诉你。有一个用于数据科学的包绝对是必需的，它就是 pandas。pandas

jzlixiao 2020-09-15

Pandas这样来设置，做数据分析舒适百倍

在日常使用pandas的过程中，由于我们所分析的数据表规模、格式上的差异，使得同样的函数或方法作用在不同数据上的效果存在差异。而pandas有着自己的一套「参数设置系统」，可以帮助我们在遇到不同的数据时灵活调节从而达到最好的效果，本文就将介绍pandas中

wangquannuaa 2020-08-30
wangquannuaa

wangquannuaa

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号