《人工智能》第8阶段

《人工智能》

本次更新内容为人工智能第八阶段：机器学习_决策树系列

 通过本阶段学习，掌握非线性决策树系列算法，重点掌握Kaggle神奇XGBoost算法，理解GBDT和XGBoost涉及的公式推导，本阶段的掌握将大大提升学员数据挖掘的能力，对于后续理解Kaggle实战阶段内容会起到很大的帮助。

第一章节    01_决策树

01_决策树模型的特点

02_决策树的数学表达

03_如何构建一颗决策树

04_什么是更好的一次划分

05_Gini系数

06_信息增益

07_熵与Gini系数关系 信息增益率

08_预剪枝以及相关超参数

09_代码实战决等树对前尾花数据集分类

10_绘制决策树模型寻找最优树深度

11_代码训练回归树拟合SineWave

12_后剪枝的意义

13_CCP代价复杂度后剪枝

14_CCP代价复杂度剪枝 a超参数设定

第二章节   02_集成学习和随机森林

15_不同聚合方式生成不同弱学习器方式

16_BaggingBoosting_Stacking

17_随机森林

18_代码实战随机森林对鸟尾花数据集分买

19_OOB袋外数据

20_Adaboost算法思路

21_调整数据权重让权重正确率达到50%

22_Adaboost如何调整样本权重和求基模型权重

第三章节   03_GBDT

23_GBDT试图使用有监督最优化算法梯度下降求解F(x)

24_GBDT令每个弱学习器f(x)去拟合负梯度

25_GBDT每棵树都是回归树 准备数据才能训练下一颗小树

26_GBDT应用于回归问题

27_GBDT回归举例 总结

28_GBDT应用于二分类问题

29_GBDT二分类拟合的负梯度依然是残差

30_GBDT中shrinkage学习率和最优树权重ρ可以共存

31_GBDT应用于多分类任务

32_GBDT多分类如何每轮给K颗小树准备要去拟合的负梯度

33_GBDT多分类流程

34_对比GBDT回归、二分类、多分类相同点与不同点

35_GBDT二分类叶子节点分值计算推导

36_GBDT多分类叶子节点分值计算

37_GBDT二分类举例详解

38_GBDT多分类举例详解

39_计算特征重要度进行特征选择

40_GBDT用于特征组合降维

41_GBDT在sklearn中源码剖析_初始化F(x)

42_GBDT在sklearn中源码剖析_初始化F(x)

43_GBDT在sklearn中源码剖析_负梯度计算和叶子节点分值计算

44_GBDT+LR架构训练模型代码实现

45_GBDT+LR架构预测评估代码实现

第四章节    04_XGBoost

46_回顾有监督机器学习三要素

47_Bias_Variance_Trade-off

48_基于树集成学习4个优点

49_回顾基于树集成学习的模型和参数并举例说明

50_通过目标函数Obj来达到准确率和复杂度平衡

51_Objective_vs_Heuristic

52_得出XGBoost最开始的Obj目标函数

53_推导XGBoost对Loss二阶泰勒展开之后的Obj

54_Obj化简常数项_明确训练每颗回归树需要准备gi和hi

55_重新定义树ft和树的复杂度Ω

56_由每个叶子节点重组目标函数Obj

57_推导XGBoost出Wj计算公式_推导评价树好坏的Obj

58_根据Obj收益指导每一次分裂从而学习一棵树结构

59_举例说明从连续型和离散型变量中寻找好的分裂条件

60_XGBoost中防止过拟合的前剪枝_后剪枝_学习率

61_样本权重对于模型学习的影响

62_总结XGBoost的特性_包括缺失值的处理策略

另附各章节课程资料