上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类：。个体学习器之间存在强依赖关系，必须串行化生成的序列化方法，这一类的代表是Boosting；如果在构建第m棵子树的时候，考虑到前m-1棵子树的结果，会

本来应该是年后就要写的一篇博客，因为考完试后忙了一段时间课设和实验，然后回家后又在摸鱼，就一直没开动。趁着这段时间只能呆在家里来把这些博客补上。在之前的文章中介绍了 Random Forest 和 AdaBoost，这篇文章将介绍介绍在数据挖掘竞赛中，最常

　　AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代;　　GBDT也是迭代，但是GBDT要求弱学习器必须是回归CART模型，而且GBDT在模型训练的时候，是要求模型预测的样本损失尽可能的小。优先做回归问题。　　GBDT通

机器学习建模中的调整阶段机器学习模型的重要参数，常见的四种调整方法。每个机器学习模型的参数是不同的，因此我不能在这里讨论每个模型的参数。通过手动调整，根据当前参数的选择及其评分，对部分参数进行修改，再次对机器学习模型进行训练，并检查评分的差异，在参数的选择

GBDT 每个新模型的建立是在之前残差梯度方向减小传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导XGBoost跟GB

决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。在最近几年的paper上，如i

本文由云+社区发表GBDT 是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。这里简单介绍一下 GBDT 算法的原理，后续再写一个实战篇。分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面；回归树用于预测实数值

决策树决策树是一种基本的分类和回归方法。决策树模型呈树形结构，可以认为是if-else形式的判断集合。其主要的优点有：可读性好；分类速度快。当使用决策树进行分类或者回归预测的时候，只需递归地按照内部节点的特征及划分值找到对应的叶节点即可，叶节点的类别或者值

最近看了一些关于决策树和随机森林的东西，在这里简单整理一下。决策树决策数其实就是一个树状模型嘛，和其它树模型一样，分有根节点，叶节点和子节点。对于决策树，数据的准备往往是简单或者是不必要的，而且能够同时处理数据型和常规型属性，在相对短的时间内能够对大型数据

互联网的算法有很多应用场景，包括推荐系统、计算广告和金融反欺诈等。在处理这一类分类问题的时候，最常用的方法包括逻辑回归、GBDT和深度学习等。其中逻辑回归因为算法效率高，能有效处理大规模的数据，在深度学习还没有流行之前就被广泛的应用于大型的互联网公司。GB

梯度提升决策树算法是近年来被提及比较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现，有很多人对GBDT算法进行了开源代码的开发，比较火的是陈天奇的XGBoost和微软的LightGBM。Boosting方法是集

今天，ArXiv上公布了深度森林系列最新的第三弹——可做表示学习的多层GBDT，冯霁、俞扬和周志华提出了一种新颖的具有显式表示学习能力的多层GBDT森林，它可以与目标传播的变体进行共同训练，这种方法在很多神经网络不适合的应用领域中具有巨大的潜力。还记得周志

本文就对Boosting家族中另一个重要的算法梯度提升树做一个总结。GBDT有很多简称，有GBT, GTB， GBRT, MART，其实都是指的同一种算法，本文统一简称GBDT。GBDT在BAT大厂中也有广泛的应用，假如要选择3个最重要的机器学习算法的话，

7 月 22 - 23 日，在中国科学技术协会、中国科学院的指导下，由中国人工智能学会、阿里巴巴集团 & 蚂蚁金服主办，CSDN、中国科学院自动化研究所承办的 2017 中国人工智能大会在杭州国际会议中心盛大召开。漆远表示，蚂蚁金服今年的两

本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。原始的AdaBoost算法是在算法开始的时候，为每

深度学习是自 2012 年由百度首先成立深度学习实验室之后在国内掀起的人工智能大潮。然而由于深度学习目前还处于蓬勃发展的阶段，并且处理大规模数据时对于机器的经费的要求都比较高，因此在很多应用场景下大家选择的并不是机器学习。GBDT 自问世以来便在诸多机器学

例子放在Github上，可以直接fork。deviance是采用对数似然，exponential是指数损失，后者相当于AdaBoost。n_estimators:最大弱学习器个数，默认是100，调参时要注意过拟合或欠拟合，一般和learning_rate一

从提升树出发，——》回归提升树、二元分类、多元分类三个GBDT常见算法。提升树梯度提升树回归提升树二元分类多元分类面经提升树在说GBDT之前，先说说提升树。说到提升，总是绕不过AdaBoost。AdaBoost是利用前一轮迭代的误差率来更新训练集的权重，校