在机器学习模型中使用XGBoost
在本教程中，我们将介绍XGBoost，这是一种机器学习算法，最近主导了应用的机器学习空间。
本文主要内容
- 什么是XGBoost？
- 你为什么要用XGBoost？
- 促进Vis-a-vis Bagging
- 在Python中应用XGBoost
- XGBoost的超参数
- 使用XGBoost时的交叉验证
- 在XGBoost中可视化特征的重要性
- 结论
什么是XGBoost？
XGBoost是一个开源库，为Python，Java和C ++，R和Julia 提供梯度增强。在本教程中，我们将重点介绍Python。Gradient Boosting是一种用于分类和回归问题的机器学习技术，可以从弱决策树集合中进行预测。
你为什么要用XGBoost？
您使用此算法的主要原因是其准确性，效率和可行性。它是一个线性模型和一个树学习算法，可以在一台机器上进行并行计算。它还具有用于进行交叉验证和计算特征重要性的额外功能。以下是该模型的一些主要特征：
- 稀疏性：它接受树booster 和线性booster 的稀疏输入。
- 定制：它支持定制的目标和评估功能。
- DMatrix：其优化的数据结构，可提高其性能和效率。
提升Vis-a-vis Bagging
Boosting是一种机器学习集成算法，它减少了将弱学习者转化为强学习者的偏差和方差。XGBoost是一个增强算法示例。另一方面，Bagging是一种技术，人们从数据中随机抽取样本，建立学习算法，找到Bagging概率。
在Python中应用XGBoost
接下来让我们展示一下如何将XGBoost应用到他们的机器学习模型中。如果您没有安装XGBoost，如果您正在使用pip包管理，可以通过在终端中键入以下命令来安装XGBoost：
pip3 install xgboost
我们将使用Scikit-learn附带的Boston Housing Dataset 。我们假设读者了解基本的科学包，如Pandas，Scikit-learn和numpy。
我们从sklearn.datasets加载数据集开始。然后我们导入pandas以使我们能够将Boston Housing Dataset转换为dataframe。接下来，我们使用feature_name 属性获取特征。我们使用target属性获取目标变量，在本例中为price列。
from sklearn.datasets import load_boston boston = load_boston() import pandas as pd data = pd.DataFrame(boston.data) data.columns = boston.feature_names data['PRICE'] = boston.target
我们将使用XGBoost来预测数据集的price列。在这种情况下，数据集中的所有要素都是数字。值得注意的是，XGBoost仅适用于数值。如果我们有分类特征，我们必须使用诸如one-hot-encoding之类的技术将它们转换为数字。
接下来，我们导入XGBoost，numpy mean_squared_error，我们将其用作评估指标，以检查训练模型在测试数据集上的性能。然后，我们继续使用pandas iloc实用程序将特征变量与目标变量分开。
import xgboost as xgb from sklearn.metrics import mean_squared_error import numpy as np X, y = data.iloc[:,:-1],data.iloc[:,-1]
为了充分利用XGBoost的性能和效率，我们将数据集转换为DMatrix。这是通过使用XGBoost的Dmatrix函数实现的。
data_dmatrix = xgb.DMatrix(data=X,label=y)
XGBoost的超参数
XGBoost为我们提供了一种调整参数的方法，以获得最佳结果。基于树的学习者（如XGBoost）最常见的调整参数是：
. Booster：指定使用哪种booster 。它可以是gbtree，gblinear或者dart。gbtree和dart使用基于树模型，而gblinear使用线性函数。gbtree是默认值。
- silent：0表示打印运行消息。1表示静音模式。默认值为0。
- nthread 是用于运行XGBoost的并行线程数。
- disable_default_eval_metric是禁用默认度量标准的标志。设置为> 0以禁用。默认值为0。
- num_pbuffer是预测缓冲区的大小，通常设置为训练实例的数量。缓冲区用于保存最后一个boosting 步骤的预测结果。它由XGBoost自动设置，因此无需由用户设置
- num_feature是boosting中使用的特征尺寸，设置为特征的最大尺寸。它由XGBoost自动设置，因此不需要由用户设置
然后，我们使用model_selection模块中的train_test_split函数将数据集分割为训练和测试集。我们将测试大小设置为20%，并将随机状态设置为100，以确保得到相同的结果。
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=100)
下一步是创建XGBoost Regressor类的实例。参数说明如下：
- objective =’reg:linear’ 指定学习任务是线性的。
- colsample_bytree是构造每棵树时列的子采样率。子采样将在每次boosting迭代中发生一次。该数字的范围为0到1。
- learning_rate是步长shrinkage ，用于防止过度拟合。该数字的范围为0到1。
- max_depth指定树的最大深度。增加此数字会使模型复杂化并增加过度拟合的可能性。默认值为6。
- alpha是权重的L1正则化。增加这个数字使模型更加保守。
- n_estimators 是适合增强树木的数量
xg_reg = xgb.XGBRegressor(objective ='reg:linear', colsample_bytree = 0.3, learning_rate = 0.1, max_depth = 5,alpha = 10, n_estimators = 10)
下一步是调整回归量并使用它进行预测。
xg_reg.fit（X_train，y_train） preds = xg_reg.predict（X_test）
在此之后，我们计算均方根误差，以评估我们模型的性能。
xg_reg.fit(X_train,y_train) preds = xg_reg.predict(X_test)
使用XGBoost时的交叉验证
使用交叉验证使模型更加健壮是一种非常常见的做法。XGboost通过该cv() 函数支持K-fold验证。我们将使用它来对我们的模型应用交叉验证。
现在我们指定一个新的变量params来保存除n_estimators之外的所有参数，因为我们将使用cv()工具中的num_boost_rounds。cv()实用程序所取的参数如下所示:
- dtrain 是要训练的数据。
- params 指定booster 参数。
- nfold 是交叉验证函数中的folds 数。
- num_boost_round 是boosting迭代的数量。
- early_stopping_rounds 激活early stopping。CV error 需要至少每轮<early_stopping_rounds>)减少才能继续。
- metrics 是交叉验证中要观察的评估指标。
- as_pandas如果True将返回一个pandas dataframe; 如果为false，它将返回一个numpy数组。
params = {"objective":"reg:linear",'colsample_bytree': 0.3,'learning_rate': 0.1,
'max_depth': 5, 'alpha': 10}
cv_results = xgb.cv(dtrain=data_dmatrix, params=params, nfold=5,
num_boost_round=50,early_stopping_rounds=10,metrics="rmse", as_pandas=True, seed=100该cv_results变量将返回训练并测试每次boosting round的RMSE。最终 boosting round 指标可以如下获得：
print((cv_results["test-rmse-mean"]).tail(1))
在XGBoost中可视化特征重要性
您可能有兴趣查看数据集中最重要的特征。
XGBoost具有一个plot_importance()函数，使您可以查看数据集中按重要性排名的所有特征。Python代码如下：
import matplotlib.pyplot as plt xgb.plot_importance(xg_reg) plt.rcParams['figure.figsize'] = [5, 5] plt.show()
您可以使用上述可视化为机器学习模型选择最相关的特征。
结论
您可以使用其他技术（如网格搜索）来改进机器学习模型。Grid Search的工作原理是对estimator的指定参数值进行详尽搜索。