当前位置：网站首页 > 博客教程 > 正文

大话AI算法: 决策树

connygpt 2024-12-20 11:48 2 浏览

所谓的决策树算法，通俗的说就是建立一个树形的结构，通过这个结构去一层一层的筛选判断问题是否好坏的算法。

比如判断一个西瓜是否好瓜，有20条西瓜的样本提供给你，让你根据这20条（通过机器学习）建立起一个树形结构。并能够用这个树形结构来判断更多的样本是否好的西瓜。

20个样本中包含了其中以下几个类型：

1.色泽（取值：青绿，乌黑，浅白）；

2.敲声（取值：浊响，清脆，沉闷）；

3.纹理（取值：清晰，稍糊，模糊）；

怎样才能建立这个牛逼哄哄的大树呢？

那就不能不提到一个概念：熵，但我发现，每当提一个数学概念，人们就会对文章产生怨念，并有立马把文章扔一边的冲动。那咱们换个接地气的说话：“稳”，对，要找几条最稳当，我们最能猜的出来结果的几条样本。并根据这几条最稳当的样本一层一层的建立树形结构。

什么算稳，你这次考第一名，下次考倒数第一名算稳吗，肯定不算。长时间的稳定在一个位置才算稳，不仅仅是长时间稳定在第一名，长时间稳定在倒数第一名同样算稳定。引申到西瓜的样本里就是：如果这个类型的样本下的西瓜绝大多数是好瓜，或者绝大多数是坏瓜，那么他就是一个非常好的建立决策树根节点的选择。

比如上面的3个类型中色泽的取值里，青绿色的瓜有3个好瓜，3个坏瓜，乌黑色的瓜里有3个好瓜3个坏瓜，浅白的同样有3个好瓜3个坏瓜，大家觉得他是一个好的建立根节点的选择吗，当然不是！因为他的成绩很不稳定，换句话说，我们无法根据这个色泽的属性来准确的判定这是否是一个好瓜，再或者说“色泽”这个属性跟判断好坏没有太大的联系。

反过来如果色泽属性里，青绿色的瓜有6个好瓜0个坏瓜，乌黑色有6个好瓜，0个坏瓜，浅白色有0个好瓜，6个坏瓜。我们是不是很直观的发现色泽属性能很好的判断是否好瓜。那属性色泽就是很好的根节点候选者。

假如我们以色泽建立了根节点，往下怎么办，好办，看看色泽类型有几种取值（青绿，乌黑，浅白），就开几个下面的分支，并根据划分的样本重复上面的步骤。树形结构就这么建立起来了。

现在问题来了，如果这个属性的取值不像上面那么明显，没有看起来的那么绝对，怎么办？大家不用担心，我们有足够优秀的数学工具来解决这个问题，其中一个工具就是上面提到的概念：熵。熵代表一件事情变化的混乱程度（不可预知程度）。一件事情越不可预知，熵的取值就会越大。数学大师们很巧妙的通过概率和熵建立了一个非常优秀的筛选工具，帮助我们筛选出节点。大家有兴趣可以深入了解下。

有时候我们发现建立的树形结构并不是那么的完美，树上的某些枝叶判断是否好瓜并没有那么精准，这时候我们就要减掉这些枝叶了，剪枝叶这件事其实也挺讲究，你可以在刚刚建好的时候来判断是否减掉（预剪枝），也可以在建好完整的决策树后再全部进行检查（后剪枝）。事实证明“后剪枝”的效果更好，但是算法开销较大。

决策树算法就大话到这里了，有兴趣的小伙伴可以联系我一块讨论。

文献参考：西瓜书

剪枝算法

上一篇：Micro-YOLO:探索目标检测压缩模型的有效方法(附论文下载)
下一篇：「机器学习」决策树——ID3、C4.5、CART(非常详细)

大话AI算法: 决策树

相关推荐

在.net core中使用nginx做负载均衡

React 18 超全升级指南

LTUI v1.7 发布，一个基于 Lua 的跨平台字符终端 UI 界面库

生成对抗网络(GAN)的半监督学习

《若依ruoyi》第二十五章:Spring boot 上传下载封装详解二

QT进阶之路 : 布局详解

如何在 Element UI 中使用栅格布局实现响应式设计?

IDEA 中 Jetty 的配置操作手册 idea jfinal

如何在Dify平台上创建智能Agent:一步步教你实现超级智能体搭建

k8s自动化运维三