numpy模块
numpy模块
一、numpy简介
numpy是Python的一种开源的数值计算扩展库。这种库可用来存储和处理大型numpy数组,比Python自身的嵌套列表结构要高效的多(该结构也可以用来表示numpy数组)。
numpy库有两个作用:
- 区别于list列表,提供了数组操作、数组运算、以及统计分布和简单的数学模型
- 计算速度快,甚至要由于python内置的简单运算,使得其成为pandas、sklearn等模块的依赖包。高级的框架如TensorFlow、PyTorch等,其数组操作也和numpy非常相似。
二、为什么用numpy
lis1 = [1, 2, 3] lis2 = [4, 5, 6]
lis1
[1, 2, 3]
lis2
[4, 5, 6]
如果我们想让lis1 * lis2
得到一个结果为lis_res = [4, 10, 18]
,非常复杂。
三、创建numpy数组
numpy数组即numpy的ndarray对象,创建numpy数组就是把一个列表传入np.array()方法。
import numpy as np
# np.array? 相当于pycharm的ctrl+鼠标左键
# 创建一维的ndarray对象 arr = np.array([1, 2, 3]) print(arr, type(arr))
[1 2 3] <class 'numpy.ndarray'>
# 创建二维的ndarray对象 print(np.array([[1, 2, 3], [4, 5, 6]]))
[[1 2 3] [4 5 6]]
# 创建三维的ndarray对象 print(np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]))
[[1 2 3] [4 5 6] [7 8 9]]
四、numpy数组的常用属性
属性 | 解释 |
---|---|
T | 数组的转置(对高维数组而言) |
dtype | 数组元素的数据类型 |
size | 数组元素的个数 |
ndim | 数组的维数 |
shape | 数组的维度大小(以元组形式) |
astype | 类型转换 |
dtype种类:bool_, int(8,16,32,64), float(16,32,64)
arr = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float32) print(arr)
[[1. 2. 3.] [4. 5. 6.]]
print(arr.T)
[[1. 4.] [2. 5.] [3. 6.]]
print(arr.dtype)
float32
arr = arr.astype(np.int32) print(arr.dtype) print(arr)
int32 [[1 2 3] [4 5 6]]
print(arr.size)
6
print(arr.ndim)
2
print(arr.shape)
(2, 3)
五、获取numpy数组的行列数
由于numpy数组是多维的,对于二维的数组而言,numpy数组就是既有行又有列。
注意:对于numpy我们一般多讨论二维的数组。
arr = np.array([[1, 2, 3], [4, 5, 6]]) print(arr)
[[1 2 3] [4 5 6]]
# 获取numpy数组的行和列构成的数组 print(arr.shape)
(2, 3)
# 获取numpy数组的行 print(arr.shape[0])
2
# 获取numpy数组的列 print(arr.shape[1])
3
六、切割numpy数组
切分numpy数组类似于列表的切割,但是与列表的切割不同的是,numpy数组的切割涉及到行和列的切割,但是两者切割的方式都是从索引0开始,并且取头不取尾。
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr)
[[ 1 2 3 4] [ 5 6 7 8] [ 9 10 11 12]]
# 取所有元素 print(arr[:, :])
[[ 1 2 3 4] [ 5 6 7 8] [ 9 10 11 12]]
# 取第一行的所有元素 print(arr[:1, :])
[[1 2 3 4]]
# 取第一行的所有元素 print(arr[0, [0, 1, 2, 3]])
[1 2 3 4]
# 取第一列的所有元素 print(arr[:, :1])
[[1] [5] [9]]
# 取第一列的所有元素 print(arr[(0, 1, 2), 0])
[1 5 9]
# 取第一行第一列的元素 print(arr[(0, 1, 2), 0])
[1 5 9]
# 取第一行第一列的元素 print(arr[0, 0])
1
# 取大于5的元素,返回一个数组 print(arr[arr > 5])
[ 6 7 8 9 10 11 12]
# numpy数组按运算符取元素的原理,即通过arr > 5生成一个布尔numpy数组 print(arr > 5)
[[False False False False] [False True True True] [ True True True True]]
七、numpy数组元素替换
numpy数组元素的替换,类似于列表元素的替换,并且numpy数组也是一个可变类型的数据,即如果对numpy数组进行替换操作,会修改原numpy数组的元素,所以下面我们用.copy()方法举例numpy数组元素的替换。
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr)
[[ 1 2 3 4] [ 5 6 7 8] [ 9 10 11 12]]
# 取第一行的所有元素,并且让第一行的元素都为0 arr1 = arr.copy() arr1[:1, :] = 0 print(arr1)
[[ 0 0 0 0] [ 5 6 7 8] [ 9 10 11 12]]
# 取所有大于5的元素,并且让大于5的元素为0 arr2 = arr.copy() arr2[arr > 5] = 0 print(arr2)
[[1 2 3 4] [5 0 0 0] [0 0 0 0]]
# 对numpy数组清零 arr3 = arr.copy() arr3[:, :] = 0 print(arr3)
[[0 0 0 0] [0 0 0 0] [0 0 0 0]]
八、numpy数组的合并
arr1 = np.array([[1, 2], [3, 4], [5, 6]]) print(arr1)
[[1 2] [3 4] [5 6]]
arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2)
[[ 7 8] [ 9 10] [11 12]]
# 合并两个numpy数组的行,注意使用hstack()方法合并numpy数组, # numpy数组应该有相同的行,其中hstack的h表示horizontal水平的 print(np.hstack((arr1, arr2)))
[[ 1 2 7 8] [ 3 4 9 10] [ 5 6 11 12]]
# 合并两个numpy数组,其中axis=1表示合并两个numpy数组的行 print(np.concatenate((arr1, arr2), axis=1))
[[ 1 2 7 8] [ 3 4 9 10] [ 5 6 11 12]]
# 合并两个numpy数组的列,注意使用vstack()方法合并numpy数组,numpy数组应该有相同的列, # 其中vstack的v表示vertical垂直的 print(np.vstack((arr1, arr2)))
[[ 1 2] [ 3 4] [ 5 6] [ 7 8] [ 9 10] [11 12]]
# 合并两个numpy数组,其中axis=0表示合并两个numpy数组的列 print(np.concatenate((arr1, arr2), axis=0))
[[ 1 2] [ 3 4] [ 5 6] [ 7 8] [ 9 10] [11 12]]
九、通过函数创建numpy数组
方法 | 详解 |
---|---|
array() | 将列表转换为数组,可选择显式指定dtype |
arange() | range的numpy版,支持浮点数 |
linspace() | 类似arange(),第三个参数为数组长度 |
zeros() | 根据指定形状和dtype创建全0数组 |
ones() | 根据指定形状和dtype创建全1数组 |
eye() | 创建单位矩阵 |
empty() | 创建一个元素全随机的数组 |
reshape() | 重塑形状 |
9.1 array
arr = np.array([1, 2, 3]) print(arr)
[1 2 3]
9.2 arange
# 构造0-9的ndarray数组 print(np.arange(10))
[0 1 2 3 4 5 6 7 8 9]
# 构造1-4的ndarray数组 print(np.arange(1, 5))
[1 2 3 4]
# 构造1-19且步长为2的ndarray数组 print(np.arange(1, 20, 2))
[ 1 3 5 7 9 11 13 15 17 19]
9.3 linspace/logspace
# 构造一个等差数列,取头也取尾,从0取到20,取5个数 print(np.linspace(0, 20, 5))
[ 0. 5. 10. 15. 20.]
# 构造一个等比数列,从10**0取到10**20,取5个数 print(np.logspace(0, 20, 5))
[1.e+00 1.e+05 1.e+10 1.e+15 1.e+20]
9.4 zeros/ones/eye/empty
# 构造3*4的全0numpy数组 print(np.zeros((3, 4)))
[[0. 0. 0. 0.] [0. 0. 0. 0.] [0. 0. 0. 0.]]
# 构造3*4的全1numpy数组 print(np.ones((3, 4)))
[[1. 1. 1. 1.] [1. 1. 1. 1.] [1. 1. 1. 1.]]
# 构造3个主元的单位numpy数组 print(np.eye(3))
[[1. 0. 0.] [0. 1. 0.] [0. 0. 1.]]
# 构造一个4*4的随机numpy数组,里面的元素是随机生成的 print(np.empty((4, 4)))
[[ 2.31584178e+077 -1.49457545e-154 3.95252517e-323 0.00000000e+000] [ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000] [ 0.00000000e+000 0.00000000e+000 0.00000000e+000 0.00000000e+000] [ 0.00000000e+000 0.00000000e+000 1.29074055e-231 1.11687366e-308]]
9.5 reshape
arr = np.ones([2, 2], dtype=int) print(arr.reshape(4, 1))
[[1] [1] [1] [1]]
9.6 fromstring/fromfunction(了解)
# fromstring通过对字符串的字符编码所对应ASCII编码的位置,生成一个ndarray对象 s = 'abcdef' # np.int8表示一个字符的字节数为8 print(np.fromstring(s, dtype=np.int8))
[ 97 98 99 100 101 102] /Applications/anaconda3/lib/python3.6/site-packages/ipykernel_launcher.py:4: DeprecationWarning: The binary mode of fromstring is deprecated, as it behaves surprisingly on unicode inputs. Use frombuffer instead after removing the cwd from sys.path.
def func(i, j): """其中i为numpy数组的行,j为numpy数组的列""" return i * j # 使用函数对numpy数组元素的行和列的索引做处理,得到当前元素的值, # 索引从0开始,并构造一个3*4的numpy数组 print(np.fromfunction(func, (3, 4)))
[[0. 0. 0. 0.] [0. 1. 2. 3.] [0. 2. 4. 6.]]
十、numpy数组运算
运算符 | 说明 |
---|---|
+ | 两个numpy数组对应元素相加 |
- | 两个numpy数组对应元素相减 |
* | 两个numpy数组对应元素相乘 |
/ | 两个numpy数组对应元素相除,如果都是整数则取商 |
% | 两个numpy数组对应元素相除后取余数 |
**n | 单个numpy数组每个元素都取n次方,如**2:每个元素都取平方 |
arrarr1 = np.array([[1, 2], [3, 4], [5, 6]]) print(arr1)
[[1 2] [3 4] [5 6]]
arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2)
[[ 7 8] [ 9 10] [11 12]]
print(arr1 + arr2)
[[ 8 10] [12 14] [16 18]]
print(arr1**2)
[[ 1 4] [ 9 16] [25 36]]
十一、numpy数组运算函数
numpy数组函数 | 详解 |
---|---|
np.sin(arr) | 对numpy数组arr中每个元素取正弦,sin(x)sin(x) |
np.cos(arr) | 对numpy数组arr中每个元素取余弦,cos(x)cos(x) |
np.tan(arr) | 对numpy数组arr中每个元素取正切,tan(x)tan(x) |
np.arcsin(arr) | 对numpy数组arr中每个元素取反正弦,arcsin(x)arcsin(x) |
np.arccos(arr) | 对numpy数组arr中每个元素取反余弦,arccos(x)arccos(x) |
np.arctan(arr) | 对numpy数组arr中每个元素取反正切,arctan(x)arctan(x) |
np.exp(arr) | 对numpy数组arr中每个元素取指数函数,exex |
np.sqrt(arr) | 对numpy数组arr中每个元素开根号x??√ |
一元函数:abs, sqrt, exp, log, ceil, floor, rint, trunc, modf, isnan, isinf, cos, sin, tan
二元函数:add, substract, multiply, divide, power, mod, maximum, mininum
arr = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(arr)
[[ 1 2 3 4] [ 5 6 7 8] [ 9 10 11 12]]
# 对numpy数组的所有元素取正弦 print(np.sin(arr))
[[ 0.84147098 0.90929743 0.14112001 -0.7568025 ] [-0.95892427 -0.2794155 0.6569866 0.98935825] [ 0.41211849 -0.54402111 -0.99999021 -0.53657292]]
# 对numpy数组的所有元素开根号 print(np.sqrt(arr))
[[1. 1.41421356 1.73205081 2. ] [2.23606798 2.44948974 2.64575131 2.82842712] [3. 3.16227766 3.31662479 3.46410162]]
# 对numpy数组的所有元素取反正弦,如果元素不在定义域内,则会取nan值 print(np.arcsin(arr * 0.1))
[[0.10016742 0.20135792 0.30469265 0.41151685] [0.52359878 0.64350111 0.7753975 0.92729522] [1.11976951 1.57079633 nan nan]] /Applications/anaconda3/lib/python3.6/site-packages/ipykernel_launcher.py:2: RuntimeWarning: invalid value encountered in arcsin
# 判断矩阵元素中是否含有np.nan值 print(np.isnan(arr))
[[False False False] [False False False]]
十二、numpy数组矩阵化
12.1 numpy数组的点乘
numpy数组的点乘必须满足第一个numpy数组的列数等于第二个numpy数组的行数,即(mn·{nm}=m*m)。
arr1 = np.array([[1, 2, 3], [4, 5, 6]]) print(arr1.shape)
(2, 3)
arr2 = np.array([[7, 8], [9, 10], [11, 12]]) print(arr2.shape)
(3, 2)
assert arr1.shape[0] == arr2.shape[1] # 2*3·3*2 = 2*2 print(arr2.shape)
(3, 2)
12.2 numpy数组的转置
numpy数组的转置,相当于numpy数组的行和列互换。
arr = np.array([[1, 2, 3], [4, 5, 6]]) print(arr)
[[1 2 3] [4 5 6]]
print(arr.transpose())
[[1 4] [2 5] [3 6]]
print(arr.T)
[[1 4] [2 5] [3 6]]
12.3 numpy数组的逆
numpy数组行和列相同时,numpy数组才可逆。
arr = np.array([[1, 2, 3], [4, 5, 6], [9, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [9 8 9]]
print(np.linalg.inv(arr))
[[ 0.5 -1. 0.5 ] [-3. 3. -1. ] [ 2.16666667 -1.66666667 0.5 ]]
# 单位numpy数组的逆是单位numpy数组本身 arr = np.eye(3) print(arr)
[[1. 0. 0.] [0. 1. 0.] [0. 0. 1.]]
print(np.linalg.inv(arr))
[[1. 0. 0.] [0. 1. 0.] [0. 0. 1.]]
十三、numpy数组数学和统计方法
方法 | 详解 |
---|---|
sum | 求和 |
cumsum | 累加求和 |
mean | 求平均数 |
std | 求标准差 |
var | 求方差 |
min | 求最小值 |
max | 求最大值 |
argmin | 求最小值索引 |
argmax | 求最大值索引 |
sort | 排序 |
13.1 最大最小值
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 获取numpy数组所有元素中的最大值 print(arr.max())
9
# 获取numpy数组所有元素中的最小值 print(arr.min())
1
# 获取举着每一行的最大值 print(arr.max(axis=0))
[7 8 9]
# 获取numpy数组每一列的最大值 print(arr.max(axis=1))
[3 6 9]
# 获取numpy数组最大元素的索引位置 print(arr.argmax(axis=1))
[2 2 2]
13.2 平均值
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 获取numpy数组所有元素的平均值 print(arr.mean())
5.0
# 获取numpy数组每一列的平均值 print(arr.mean(axis=0))
[4. 5. 6.]
# 获取numpy数组每一行的平均值 print(arr.mean(axis=1))
[2. 5. 8.]
13.3 方差
方差公式图
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 获取numpy数组所有元素的方差 print(arr.var())
6.666666666666667
# 获取numpy数组每一列的元素的方差 print(arr.var(axis=0))
[6. 6. 6.]
# 获取numpy数组每一行的元素的方差 print(arr.var(axis=1))
[0.66666667 0.66666667 0.66666667]
13.4 标准差
标准差公式为
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 获取numpy数组所有元素的标准差 print(arr.std())
2.581988897471611
# 获取numpy数组每一列的标准差 print(arr.std(axis=0))
[2.44948974 2.44948974 2.44948974]
# 获取numpy数组每一行的标准差 print(arr.std(axis=1))
[0.81649658 0.81649658 0.81649658]
13.5 中位数
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 获取numpy数组所有元素的中位数 print(np.median(arr))
5.0
# 获取numpy数组每一列的中位数 print(np.median(arr, axis=0))
[4. 5. 6.]
# 获取numpy数组每一行的中位数 print(np.median(arr, axis=1))
[2. 5. 8.]
13.6 numpy数组求和
arr = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) print(arr)
[[1 2 3] [4 5 6] [7 8 9]]
# 对numpy数组的每一个元素求和 print(arr.sum())
45
# 对numpy数组的每一列求和 print(arr.sum(axis=0))
[12 15 18]
# 对numpy数组的每一行求和 print(arr.sum(axis=1))
[ 6 15 24]
13.7 累加和
arr = np.array([1, 2, 3, 4, 5]) print(arr)
[1 2 3 4 5]
# 第n个元素为前n-1个元素累加和 print(arr.cumsum())
[ 1 3 6 10 15]
十四、numpy.random生成随机数
函数名称 | 函数功能 | 参数说明 |
---|---|---|
rand(d0,d1,?,dnd0,d1,?,dn) | 产生均匀分布的随机数 | dndn为第n维数据的维度 |
randn(d0,d1,?,dnd0,d1,?,dn) | 产生标准正态分布随机数 | dndn为第n维数据的维度 |
randint(low[, high, size, dtype]) | 产生随机整数 | low:最小值;high:最大值;size:数据个数 |
random_sample([size]) | 在[0,1)[0,1)内产生随机数 | size为随机数的shape,可以为元祖或者列表 |
choice(a[, size]) | 从arr中随机选择指定数据 | arr为1维数组;size为数组形状 |
uniform(low,high [,size]) | 给定形状产生随机数组 | low为最小值;high为最大值,size为数组形状 |
shuffle(a) | 与random.shuffle相同 | a为指定数组 |
# RandomState()方法会让数据值随机一次,之后都是相同的数据 rs = np.random.RandomState(1) print(rs.rand(10))
[4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01 1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01 3.96767474e-01 5.38816734e-01]
# 构造3*4的均匀分布的numpy数组 # seed()方法会让数据值随机一次,之后都是相同的数据 np.random.seed(1) print(np.random.rand(3, 4))
[[4.17022005e-01 7.20324493e-01 1.14374817e-04 3.02332573e-01] [1.46755891e-01 9.23385948e-02 1.86260211e-01 3.45560727e-01] [3.96767474e-01 5.38816734e-01 4.19194514e-01 6.85219500e-01]]
# 构造3*4*5的均匀分布的numpy数组 print(np.random.rand(3, 4, 5))
[[[0.20445225 0.87811744 0.02738759 0.67046751 0.4173048 ] [0.55868983 0.14038694 0.19810149 0.80074457 0.96826158] [0.31342418 0.69232262 0.87638915 0.89460666 0.08504421] [0.03905478 0.16983042 0.8781425 0.09834683 0.42110763]] [[0.95788953 0.53316528 0.69187711 0.31551563 0.68650093] [0.83462567 0.01828828 0.75014431 0.98886109 0.74816565] [0.28044399 0.78927933 0.10322601 0.44789353 0.9085955 ] [0.29361415 0.28777534 0.13002857 0.01936696 0.67883553]] [[0.21162812 0.26554666 0.49157316 0.05336255 0.57411761] [0.14672857 0.58930554 0.69975836 0.10233443 0.41405599] [0.69440016 0.41417927 0.04995346 0.53589641 0.66379465] [0.51488911 0.94459476 0.58655504 0.90340192 0.1374747 ]]]
# 构造3*4的正态分布的numpy数组 print(np.random.randn(3, 4))
[[ 0.30017032 -0.35224985 -1.1425182 -0.34934272] [-0.20889423 0.58662319 0.83898341 0.93110208] [ 0.28558733 0.88514116 -0.75439794 1.25286816]]
# 构造取值为1-5内的10个元素的ndarray数组 print(np.random.randint(1, 5, 10))
[1 1 1 2 3 1 2 1 3 4]
# 构造取值为0-1内的3*4的numpy数组 print(np.random.random_sample((3, 4)))
[[0.62169572 0.11474597 0.94948926 0.44991213] [0.57838961 0.4081368 0.23702698 0.90337952] [0.57367949 0.00287033 0.61714491 0.3266449 ]]
arr = np.array([1, 2, 3]) # 随机选取arr中的两个元素 print(np.random.choice(arr, size=2))
[1 3]
arr = np.random.uniform(1, 5, (2, 3)) print(arr)
[[4.72405173 3.30633687 4.35858086] [3.49316845 2.29806999 3.91204657]]
np.random.shuffle(arr) print(arr)
[[3.49316845 2.29806999 3.91204657] [4.72405173 3.30633687 4.35858086]]