集成学习(Random Forest)——实践

对于集成学习,由于是多个基学习期共同作用结果,因此在做参数调节时候就有基学习器的参数和集成学习的参数两类

在scikit-learn中,RF的分类类是RandomForestClassifier,回归类是RandomForestRegressor

官方文档:http://scikit-learn.org/stable/modules/ensemble.html#ensemble

RandomForestClassifier :http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html#sklearn.ensemble.RandomForestClassifier

RandomForestRegressor :http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestRegressor.html#sklearn.ensemble.RandomForestRegressor

集成学习(Random Forest)——实践

1、RF框架参数

参数说明:

1、n_estimators:随机森林的基学习器数量

2、oob_score:是否使用袋外数据来评价模型

2、基学习器参数

基学习器由于可选的很多,sklearn里面的好像默认是决策树

参数说明:

1、max_features:这个最重要:在做决策树时候选择的特征数量 。默认是"None",意味着划分时考虑所有的特征数;如果是"log2"意味着划分时最多考虑log2Nlog2N个特征;如果是"sqrt"或者"auto"意味着划分时最多考虑N−−√N个特征。

2、criterion:决策树划分的衡量,gini是基尼系数,回归树种是mse均方误差

3、max_depth:决策树的最大深度

4、min_samples_split:最小划分的样本数,如果低于这个样本数,决策树不做划分

实例说明:

集成学习(Random Forest)——实践
#导入库
import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV
#加载数据
iris = load_iris()
x = iris.data
y = iris.target
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state = 1)
#使用网格搜索确定要建立的基学习器个数
clf = GridSearchCV(RandomForestClassifier(max_features='log2'),param_grid=({'n_estimators':range(1,101,10)}),cv=10)
clf.fit(x_train,y_train)
print(clf.best_params_)
#再使用网格搜索来确定决策树的参数
clf2 = GridSearchCV(RandomForestClassifier(n_estimators=11),param_grid=({'max_depth':range(1,10)}))
clf2.fit(x_train,y_train)
print(clf2.best_params_)
#根据最大层数3,最多棵树11,建立最终的随机森林来预测
rf = RandomForestClassifier(n_estimators=11,max_depth=3,max_features='log2')
rf.fit(x_train,y_train)
y_hat = rf.predict(x_test)
print(accuracy_score(y_hat,y_test))

相关推荐