文章目录

• 一、决策树
• • 1.决策树的直观理解
  • 2、分类树
  • • 2.1 信息熵
    • 2.2基尼指数
  • 3. 回归树
• 二、集成学习
• • 1.集成学习简介
  • 2.随机森林
  • • 2.1 随机森林
    • 2.2 随机森林实践
  • 3、AdaBoost的理解
  • 4.GBDT
  • • 4.1BDT（提升树）
    • 4.2GBDT（梯度提升树）
  • 5、XGBoost
  • • 5.1 模型形式
    • 5.2 目标函数
    • 5.3 学习策略（树结构的确定）
    • 5.4 系统设计
    • 5.5实践
  • 6、lightGBM
  • • 6.1 直方图算法
    • 6.2 直方图算法的改进
    • 6.3树的生长策略
    • 6.4系统设计
    • 6.5 实践