机器学习——XGboost算法
XGboost算法
XGBoost是GBDT算法的一种改进,是一种常用的有监督集成学习算法;是一种伸缩性强、便捷的可并行构建模型的GradientBoosting算法。
原理是:在GBDT目标函数的基础上加入惩罚项,如下图绿框。通过限制树模型的叶子节点的个数和叶子节点的值来降低模型复杂度,从而防止过拟合,二分之一是为了求导方便。t是树的棵数,obj为损失函数
大体步骤:防止过拟合,二阶泰勒展开公式计算,给出了新的树的划分标准,用的是损失函数的增量。
目的:找到第t颗树是如何搭建的
所以我们的期望是损失函数只和第t颗树有关系
XGBoost官网:http://xgboost.readthedocs.io;
XGBoost支持开发语言:Python、R、Java、Scala、C++等。
安装方式一:编译Github上的源码,参考http://xgboost.readthedocs.io/en/latest/build.html
安装方式二:python的whl文件进行安装,要求python版本3.5或者3.6;下载链接:https://www.lfd.uci.edu/~gohlke/pythonlibs/#xgboost;安装参考命令:pipinstallf:///xgboost-0.7-cp36-cp36m-win_amd64.whl
安装方式三:直接pip命令安装:pip install xgboost
相关推荐
jaybeat 2020-11-17
机器学习之家 2020-11-10
mori 2020-11-06
jaybeat 2020-11-02
changyuanchn 2020-11-01
Pokemogo 2020-11-16
lwnylslwnyls 2020-11-06
Micusd 2020-11-19
人工智能 2020-11-19
81510295 2020-11-17
flyfor0 2020-11-16
lgblove 2020-11-16
Pokemogo 2020-11-16
clong 2020-11-13
lizhengjava 2020-11-13
ohbxiaoxin 2020-11-13
Icevivian 2020-11-13
EchoYY 2020-11-12
CSDN人工智能头条 2020-11-11