SIGAI机器学习第十九集 随机森林

讲授集成学习的概念,Bootstrap抽样,Bagging算法,随机森林的原理,训练算法,包外误差,计算变量的重要性,实际应用

大纲:

集成学习简介

Boostrap抽样

Bagging算法

随机森林的基本原理

训练算法

包外误差

计算变量的重要性

实验环节

实际应用

随机森林是一种集成学习的算法,构建在bootstrap采样基础之上的,bagging算法基于boostrap采样,与之对应的是boosting算法。随机森林是多颗决策树的集成,由于采用了bootstrip采样,在训练时有一部分样本是没有被选中的,这些样本称为包外样本,训练完一个决策树之后可以测试这个样本集的误差,称为包外误差。

集成学习简介:

集成学习(ensemble learning)是机器学习中的一种哲学思想,它通过多个模型的组合形成一个精度更高的模型,参与组合的模型称为弱学习器(weaker learner),组合之后的模型称为强学习器。

在预测时使用这些弱学习器模型联合进行预测。

训练时需要用训练样本依次训练出这些弱学习器,如将训练集D分为D1、D2、...,分别用于训练弱学习器1、弱学习器2、...。

基于Bagging

相关推荐