集成学习本身不是一个单独的机器学习算法，是通过构建并结合多个机器学习器来完成学习任务的思想。通常的集成学习的方法指的是同质个体学习器。同质个体学习器使用最多的模型是CART决策树和神经网络。

AdaBoost是典型的Boosting算法，属于Boosting家族的一员。Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，

可以是不同算法的集成。可以是数据集不同部分分配给不同分类器之后的集成。使用 S 个 CART 决策树作为弱学习器。假设样本特征数为 a，则每次生成 CART 树都是随机选择 a 中的 k 个特征。与 bagging 类似，不同的是 bagging 的各个分

上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类：。个体学习器之间存在强依赖关系，必须串行化生成的序列化方法，这一类的代表是Boosting；如果在构建第m棵子树的时候，考虑到前m-1棵子树的结果，会

　　原理：将含有m个数据的数据集丢给一个弱学习器1分类，比如分对百分之60，再修改数据集，将修改后的数据集扔给弱学习器3训练，学习器3把在学习器1和2中分错的那一部分又分对百分之三十。最后加权融合为一个强学习器。　　整个迭代过程直到错误率足够小或者达到一定

alpha=0.000001 # 学习率的确定方法：看权值 w 的数量级，如该脚本中每次迭代w在 10的-5次方左右；线性回归脚本里w在0.07左右。num=800 # 学习率对算法影响很大，先确定学习率，在确定迭代

XGBoost作为一个非常常用的算法，我觉得很有必要了解一下它的来龙去脉，于是抽空找了一些资料，主要包括陈天奇大佬的论文以及演讲PPT，以及网络上的一些博客文章，今天在这里对这些知识点进行整理归纳，论文中的一些专业术语尽可能保留不翻译，但会在下面写出自己的

Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。首先介绍Bootstraping，即自助法：它是一种有放回的抽样方法。每轮

本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然听说最近Team准备做一套分布式的分类器，可能会使用Random Forest来做，下了几篇论文看了看，简单的random forest还比较容易弄懂，复杂一点的还会与boost

机器学习和数据科学需要的不仅仅是将数据放入python库中并利用得到的结果。数据科学家需要真正理解数据和数据背后的过程，才能实现一个成功的系统。这篇文章从Bootstraping开始介绍，让你听懂什么是Boosting，什么是Bagging。实现这个的一个

Boosting是一个提高任意给定学习算法准确度的方法。他是一种框架算法，主要是通过对样本集的操作获得样本子集，然后用弱分类算法在样本子集上训练生成一系列的弱分类器。在实际应用中，我们不必费力寻找预测精度高的算法，只需要找到一个比随机猜测略好的弱学习算法，

在 Kaggle 及其它机器学习任务中，集成方法非常流行，不论是 XGBoost 还是随机森林，它们都强大无比。而本文作者从最基础的 Boosting 概念到 AdaBoost 算法进行了详细的介绍，并展示了如何实现 AdaBoost，这些都是走进集成方法

去年，俄罗斯的研究者 Alex Rogozhnikov 和 Tatiana Likhomanenko提出了一种集 bagging 和 boosting 两者之长的混合算法 InfiniteBoosting。机器之心对相关论文进行了简要解读和编译。相关算法的

在理解Boosting Ensembles之前，最好先了解集成是什么，让我们从了解集成开始。Ensembles - 简介在机器学习中，集成是将多个模型一起使用以形成单个预测模型的模型。考虑David想要尝试一个新落成的餐厅吃晚餐，但在去之前他想对那个地方有

XGBoost全名叫极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT的改进，既可以用于分类也可以用于回归问题中。说

本文就对Boosting家族中另一个重要的算法梯度提升树做一个总结。GBDT有很多简称，有GBT, GTB， GBRT, MART，其实都是指的同一种算法，本文统一简称GBDT。GBDT在BAT大厂中也有广泛的应用，假如要选择3个最重要的机器学习算法的话，

机器学习和数据科学工作远不是简单地把数据交给 Python 库处理，使用处理后的结果那么简单。本文将简要介绍一些利用 Bootstrapping 提升模型鲁棒性的方法。数据科学家需要真正理解数据和如何处理数据，以实现成功的系统。集成模型的一些示例有 Ada

集成学习最重要的两种类型：装袋与提升，从其两大算法入手：Random Forest、GBDT。从图中可以看出，元算法提供了从个体弱学习器到集成强学习器的实现，模型融合则在强学习器的基础上，设计结合策略进一步提升性能，元算法按照个体弱学习器之间的依赖关联关系

从提升树出发，——》回归提升树、二元分类、多元分类三个GBDT常见算法。提升树梯度提升树回归提升树二元分类多元分类面经提升树在说GBDT之前，先说说提升树。说到提升，总是绕不过AdaBoost。AdaBoost是利用前一轮迭代的误差率来更新训练集的权重，校

写一点自己理解的AdaBoost，然后再贴上面试过程中被问到的相关问题。按照以下目录展开。Boosting提升算法AdaBoost原理理解实例算法流程公式推导面经Boosting提升算法AdaBoost是典型的Boosting算法，属于Boosting家族