机器学习：Python实现多项式线性回归
在统计学中，多项式回归是回归分析的一种形式，其中独立变量x和因变量y之间的关系被建模为x中的n次多项式。多项式回归拟合x值与y的相应条件均值之间的非线性关系，被表示为E(y |x)，并已被用于描述诸如组织生长速率、湖泊沉积物中碳同位素分布的非线性现象。虽然多项式回归适合于数据的非线性模型，但作为一个统计估计问题，它是线性的，因为回归函数E(y | x)在从数据估计的未知参数中是线性的。因此，多项式回归被认为是多元线性回归的一个特例。
由“基线”变量的多项式展开得到的解释性（独立）变量称为高次项。这些变量也用于分类设置。
请注意PR与MLR（多元线性回归）非常相似，但同时考虑同一个X1变量而不是不同的变量，但用不同的幂;基本上我们用一个变量来表示同一个原始变量的不同幂。
PR由下式给出：
当SL直线不适合我们的obervations并且我们想要获得抛物线效果时，我们使用PR：
PR有自己独特的案例，当我们遇到问题时，我们可能先尝试SLR和MLR，看看会发生什么。有了PR，我们有时会获得更好的结果。例如，PR用于观察流行病如何在人口中传播，以及类似的用例，因此它是我们想要预测的问题，当然，在我们的库中拥有更多工具总是好的。但此时您可能会问自己为什么PR仍被视为线性模型？这里的诀窍是，当我们谈论线性和非线性模型时，我们并没有考虑变量，而是考虑系数。所以问题是函数是否可以表示为这些系数的线性组合，最终未知是找到系数值的目标，这就是线性和非线性指系数的原因。所以PR是MLR的一个特例，而不是标准的新型回归
为了实现这个Python，我们首先要从sklearn.linearmodel创建一个LR模型并调用我们的Object lin_reg：
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , 1:2].values
Y = dataset.iloc[: , 2].values
# Fitting Simple Linear Regression model to the data set
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)
下一步是通过sklearn.preprocessing库中的一个名为POLYNOMIAL FEATURE的类来构建PR模型。在这个对象中，我们将调用poly_reg作为我们的转换工具，它将在一个新的多项式矩阵中转换我们的矩阵X，我们可以在其中指定我们想要运行机器学习模型的程度，Python代码如下：
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , 1:2].values
Y = dataset.iloc[: , 2].values
# Fitting Simple Linear Regression model to the data set
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)
# Fitting Polynomial Regression to the Dataset
poly_reg = PolunomialFeatures(degree = 2)
X_poly = poly_reg.fit_transform(X)
poly_reg.fit(X_poly, y)
lin_reg_2 = LinearRegression()
lin_reg_2.fit(X_poly, y)
下一步是通过SCATTER和PLOT功能可视化我们PR的结果，Python实现如下：
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , 1:2].values
Y = dataset.iloc[: , 2].values
# Fitting Simple Linear Regression model to the data set
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)
# Fitting Polynomial Regression to the Dataset
poly_reg = PolynomialFeatures(degree = 2)
X_poly = poly_reg.fit_transform(X)
poly_reg.fit(X_poly, y)
lin_reg_2 = LinearRegression()
lin_reg_2.fit(X_poly, y)
# Visualising the Linear Regression results
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg.predict(X), color = 'blue')
plt.title('Truth or Bluff (Linear Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()
# Visualising the Polynomial Regression results
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg_2.predict(X), color = 'blue')
plt.title('Truth or Bluff (Linear Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()
注意：我们可以通过RRANGE函数创建一个新的X_grid来获得更高的分辨率，我们在其中指定下限和上限
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , 1:2].values
Y = dataset.iloc[: , 2].values
# Fitting Simple Linear Regression model to the data set
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)
# Fitting Polynomial Regression to the Dataset
poly_reg = PolynomialFeatures(degree = 2)
X_poly = poly_reg.fit_transform(X)
poly_reg.fit(X_poly, y)
lin_reg_2 = LinearRegression()
lin_reg_2.fit(X_poly, y)
# Visualising the Linear Regression results
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg.predict(X), color = 'blue')
plt.title('Truth or Bluff (Linear Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()
# Visualising the Polynomial Regression results
X_grid = np.arrange(min(X), max(X), 0.1)
X_grid = X_grid.reshape()
plt.scatter(X, y, color = 'red')
plt.plot(X, lin_reg_2.predict(X), color = 'blue')
plt.title('Truth or Bluff (Linear Regression)')
plt.xlabel('Position level')
plt.ylabel('Salary')
plt.show()
# Predicting a new result with Linear Regression
lin_reg.predict(6.5)
# Predicting a new result with Polynomial Regression
lin_reg_2.predict(poly_reg.fit_transform(6.5)
最后一步是通过PREDICT函数预测我们的LR和PR的结果。