.loc()访问方式有：单个标量标签、标签列表、切片对象、一个布尔数组

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(8, 4),index = [‘a‘,‘b‘,‘c‘,‘d‘,‘e‘,‘f‘,‘g‘,‘h‘], columns = [‘A‘, ‘B‘, ‘C‘, ‘D‘])

print (df.loc[:,‘A‘])          # 返回A列所有数据（单列）
print (df.loc[:,[‘A‘,‘C‘]])    # 返回A、C列所有数据(多列)
print (df.loc[[‘a‘,‘b‘,‘f‘,‘h‘],[‘A‘,‘C‘]])    # 多行多列
print (df.loc[‘a‘:‘h‘])        # 返回a-h行所有数据（多行

- 基于整数多轴索引.iloc()

除了基于纯标签和整数之外，Pandas还提供了一种使用.ix()运算符进行选择和子集化对象的混合方法。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(8, 4), columns = [‘A‘, ‘B‘, ‘C‘, ‘D‘])

|--------------------------------------------|-------------------------|
| print (df.ix[:4])                          | print (df.ix[:,‘A‘])    |
|--------------------------------------------|-------------------------| 
|           A         B         C         D  | 0    1.539915           |
| 0 -1.449975 -0.002573  1.349962  0.539765  | 1    1.359477           |
| 1 -1.249462 -0.800467  0.483950  0.187853  | 2    0.239694           |
| 2  1.361273 -1.893519  0.307613 -0.119003  | 3    0.563254           |
| 3 -0.103433 -1.058175 -0.587307 -0.114262  | 4    2.123950           |
| 4 -0.612298  0.873136 -0.607457  1.047772  | 5    0.341554           |
|                                            | 6   -0.075717           |
|                                            | 7   -0.606742           |
|                                            | Name: A, dtype: float64 |
|--------------------------------------------|-------------------------|

- 属性访问

可以使用属性运算符.来选择列。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(8, 4), columns = [‘A‘, ‘B‘, ‘C‘, ‘D‘])

|-------------------------|
| print (df.A)            |
|-------------------------|
| 0    0.104820           |
| 1   -1.206600           |
| 2    0.469083           |
| 3   -0.821226           |
| 4   -1.238865           |
| 5    1.083185           |
| 6   -0.827833           |
| 7   -0.199558           |
| Name: A, dtype: float64 |
|-------------------------|

- 索引重命名

df = pd.DataFrame({‘a‘:[11,22,33],‘b‘:[44,55,66]})
df.rename(columns={‘a‘:‘c‘})
df.columns = [‘c‘,‘b‘]

元组的第一个元素将是行的相应索引值，而剩余的值是行值。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(4,3),columns = [‘col1‘,‘col2‘,‘col3‘])
for row in df.itertuples():
    print (row)

>>> Pandas(Index=0, col1=1.5297586201375899, col2=0.76281127433814944, col3=- 0.6346908238310438)

通过传递axis参数值为0或1，可以对列标签进行排序。 默认情况下，axis = 0，逐行排列。

sort_values()提供了从mergeesort，heapsort和quicksort中选择算法的一个配置。Mergesort是唯一稳定的算法。

import pandas as pd
import numpy as np

unsorted_df = pd.DataFrame({‘col1‘:[2,1,1,1],‘col2‘:[1,3,2,4]})
sorted_df1 = unsorted_df.sort_values(by=‘col1‘)
sorted_df2 = unsorted_df.sort_values(by=‘col1‘ ,kind=‘mergesort‘) 

print (sorted_df1)
print (sorted_df2)

6.Pandas字符串

7.Pandas统计函数

8.添加数据

df[‘Score‘]=[80,90,67]          # 增加列元素个数要与元数据列个数一样
----------------------------------------------------------------------------------------------
col_name=df.columns.tolist()    # 将数据框列名全部取出至列表
col_name.insert(2,‘city‘)       # 列索引为2的位置插入列"city",刚插入时整列值均为：NaN
df=df.reindex(columns=col_name) # 重构索引
df[‘city‘]=[‘北京‘,‘山西‘,‘湖北‘,‘澳门‘]    # "city"列重新赋值
----------------------------------------------------------------------------------------------
df.insert(2,‘score‘,[80,90,100])    # 插入一列
----------------------------------------------------------------------------------------------
row = [‘11‘,‘22‘,‘33‘]
df.iloc[1] = row                    # 插入一行
----------------------------------------------------------------------------------------------
new_df = pd.DataFrame(dict)
df =df.append(new_df,ignore_index=True) # ignore_index=False,表示不按原来的索引，从0开始自动递增

9.删除数据

df = df.drop([‘one‘],axis=1,inplace=True)   # 删除数据，axis=1表示删除列，0表示删除行；inplace是否在当前df执行操作

10.Pandas缺失值

- 检查缺失值

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(5, 3), index=[‘a‘, ‘c‘, ‘e‘, ‘f‘,‘h‘],columns=[‘one‘, ‘two‘, ‘three‘])

df = df.reindex([‘a‘, ‘b‘, ‘c‘, ‘d‘, ‘e‘, ‘f‘, ‘g‘, ‘h‘])

print (df[‘one‘].isnull())
print (df[‘one‘].notnull())

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 3), index=[‘a‘, ‘c‘, ‘e‘],columns=[‘one‘,‘two‘, ‘three‘])
df = df.reindex([‘a‘, ‘b‘, ‘c‘])
# 方法1：fillna()函数将非空数据“填充”NA值
print (df.fillna(0))
# pad/fill 填充方法向前；bfill/backfill 填充方法向后
print (df.fillna(method=‘pad‘))
print (df.fillna(method=‘backfill‘))
# 方法2：如果只想排除缺少的值，则使用dropna函数和axis参数。 默认情况下，axis = 0，即在行上应用，这意味着如果行内的任何值是NA，那么整个行被排除。
print (df.dropna())# 方法3：replace()函数替换NA值print(df.repalce())

df.duplicated()             # 判断每一行是否重复

df.drop_duplicates()        # 去除全部重复行
df.drop_duplicates([‘A‘])   # 去除指定列重复行
df.drop_duplicates([‘A‘],keep=‘last‘)   # 保留重复行中最后一行

df1、df2、df3
df1.join(df2,how=‘left‘)    # 左连接
df1.join(df2,how=‘right‘)   # 右连接
df1.join(df2,how=‘outer‘)   # 外连接
df1.join([df2,df3])         # 合并多个DataFrame

df1、df2
示例：pd.merge(df1,df2,how=‘right‘)

pd.merge(left, right, how=‘inner‘, on=None, left_on=None, right_on=None,left_index=False, right_index=False, sort=True)

# left　　       - 一个DataFrame对象。
# right         - 另一个DataFrame对象。
# on            - 列(名称)连接，必须在左和右DataFrame对象中存在(找到)。
# left_on       - 左侧DataFrame中的列用作键，可以是列名或长度等于DataFrame长度的数组。
# right_on      - 来自右的DataFrame的列作为键，可以是列名或长度等于DataFrame长度的数组。
# left_index    - 如果为True，则使用左侧DataFrame中的索引(行标签)作为其连接键。 在具有MultiIndex(分层)的DataFrame的情况下，级别的数量必须与来自右DataFrame的连接键的数量相匹配。
# right_index   - 与右DataFrame的left_index具有相同的用法。
# how           - 它是left, right, outer以及inner之中的一个，默认为内inner。 下面将介绍每种方法的用法。
# sort          - 按照字典顺序通过连接键对结果DataFrame进行排序。默认为True，设置为False时，在很多情况下大大提高性能。

pd.concat(objs,axis=0,join=‘outer‘,join_axes=None,ignore_index=False)

# objs 　　　　　　- 这是Series，DataFrame或Panel对象的序列或映射。axis - {0，1，...}，默认为0，这是连接的轴。
# join 　　　　　　- {‘inner‘, ‘outer‘}，默认inner。如何处理其他轴上的索引。联合的外部和交叉的内部。
# ignore_index   − 布尔值，默认为False。如果指定为True，则不要使用连接轴上的索引值。结果轴将被标记为：0，...，n-1。j
# oin_axes 　　　 - 这是Index对象的列表。用于其他(n-1)轴的特定索引，而不是执行内部/外部集逻辑。
========================================================================================================
df1、df2
res = pd.concat([df1,df2],axins=1)     # 按行合并
res = pd.concat([df1,df2],axis=0,ignore_index=True) # 按列合并

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10, 4),
      index = pd.date_range(‘1/1/2000‘, periods=10),
      columns = [‘A‘, ‘B‘, ‘C‘, ‘D‘])

r = df.rolling(window=3,min_periods=1)
# 在整个数据框上应用聚合
print r.aggregate(np.sum)
# 在数据框的单个列上应用聚合
print (r[‘A‘].aggregate(np.sum))
# 在DataFrame的多列上应用聚合
print (r[[‘A‘,‘B‘]].aggregate(np.sum))
# 在DataFrame的单个列上应用多个函数
print (r[‘A‘].aggregate([np.sum,np.mean]))
# 在DataFrame的多列上应用多个函数
print (r[[‘A‘,‘B‘]].aggregate([np.sum,np.mean]))
# 将不同的函数应用于DataFrame的不同列
print (r.aggregate({‘A‘ : np.sum,‘B‘ : np.mean}))

df.groupby(‘key’)
df.groupby([‘key1’,’key2’])
df.groupby(key,axis=1)

# 查看分组
df.groupby(‘Team‘).groups
- 迭代遍历分组
import pandas as pd

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)

grouped = df.groupby(‘Year‘)

for name,group in grouped:
    print (name)
    print (group)

- 聚合、转换、过滤
import pandas as pd
import numpy as np

ipl_data = {‘Team‘: [‘Riders‘, ‘Riders‘, ‘Devils‘, ‘Devils‘, ‘Kings‘,
         ‘kings‘, ‘Kings‘, ‘Kings‘, ‘Riders‘, ‘Royals‘, ‘Royals‘, ‘Riders‘],
         ‘Rank‘: [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
         ‘Year‘: [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
         ‘Points‘:[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)
grouped = df.groupby(‘Team‘)

# 选择一个分组
print(grouped.get_group(2014))

# 聚合
# 聚合函数为每个组返回单个聚合值。当创建了分组(group by)对象，就可以对分组数据执行多个聚合操作。
print (grouped.agg(np.size))

# 一次应用多个聚合函数
agg = grouped[‘Points‘].agg([np.sum, np.mean, np.std])

# 转换
# 分组或列上的转换返回索引大小与被分组的索引相同的对象。因此，转换应该返回与组块大小相同的结果。

# 过滤
# 过滤过滤根据定义的标准过滤数据并返回数据的子集。filter()函数用于过滤数据。
filter = df.groupby(‘Team‘).filter(lambda x: len(x) >= 3)

# 获取当前的日期和时间
datetime.now()

# 创建一个时间戳
time = pd.Timestamp(‘2018-11-01‘)
time = pd.Timestamp(1588686880,unit=‘s‘)

# 创建一个时间范围
time = pd.date_range("12:00", "23:59", freq="30min").time

# 改变时间的频率
time = pd.date_range("12:00", "23:59", freq="H").time

# 转换为时间戳
time = pd.to_datetime(pd.Series([‘Jul 31, 2009‘,‘2019-10-10‘, None]))

import pandas as pd
datelist = pd.date_range(‘2020/11/21‘, periods=5)
print(datelist)
# 更改日期频率
datelist = pd.date_range(‘2020/11/21‘, periods=5,freq=‘M‘)
print(datelist)

import pandas as pd

# 通过传递字符串，可以创建一个timedelta对象。
timediff = pd.Timedelta(‘2 days 2 hours 15 minutes 30 seconds‘)

# 通过传递一个整数值与指定单位，这样的一个参数也可以用来创建Timedelta对象。
timediff = pd.Timedelta(6,unit=‘h‘)

# 通过数据偏移也可用于构建Timedelta对象。
timediff = pd.Timedelta(days=2)

import pandas as pd

s = pd.Series(pd.date_range(‘2018-1-1‘, periods=3, freq=‘D‘))
td = pd.Series([ pd.Timedelta(days=i) for i in range(3) ])
df = pd.DataFrame(dict(A = s, B = td))

# 相加操作
df[‘C‘] = df[‘A‘]+df[‘B‘]
df[‘D‘] = df[‘C‘]-df[‘B‘]

16.Pandas可视化

Series和DataFrame上的这个功能只是使用matplotlib库的plot()方法的简单包装实现。如果索引由日期组成，则调用gct().autofmt_xdate()来格式化x轴。

import pandas as pd
import numpy as np

df = pd.DataFrame()

- 条形图
df.plot.bar()    # bar()方法生成竖直条形图，stacked = True，生成堆积条形图
df.plot.barh()   # barh()方法生成水平条形图，stacked = True，生成堆积条形图

- 直方图
df.plot.hist()   # 指定bins的数量值 

- 箱型图
df.plot.box()

- 区域块图形
df.plot.area()

- 散点图
df.plot.scatter()

- 饼状图
df.plot.pie()