[DataAnalysis]机器学习分类——基于规则的分类器

基于规则分类器的特点

1、规则集的表达能力基于等价于决策树

2、基于规则的分类器通常用于产生更易于解释的描述性模型，而模型的性能却可与决策树分类器相媲美。

3、很多基于规则的分类器（如）采用的基于类的规则定序方法非常适用于处理类分布不平衡的数据集。

分类规则表述形式

基于规则的分类器是使用一组规则来对记录进行分类的技术。每一个分类规则可以表示为如下形式：

规则左边称为规则前件，它是属性测试的合取：

分类规则的质量度量

给定数据集和分类规则

1、覆盖率：和数据集中触发规则的记录所占的比例

2、准确率/置信因子：触发的记录中类标号等于的记录所占的比例

基于规则的分类器所产生的规则集的两个重要性质

1、互斥规则：如果规则集R中不存在两个规划被同一条记录触发。

2、穷举规则：如果对属性集的任一组合，R中都存在一条规则加以覆盖，则称规则集R具有穷举覆盖

这两个性质共同作用，保证每一条记录被仅且一条规则覆盖。

3、规则非互斥时的解决方法：

（1）有序规则：规则集中的规则按照优先级降序排列，有序的规则集也称为排序表

规则的排序方案：

（1）基于规则的排序方案：

确保每一个测试记录都是由覆盖它的“最好的”规则来分类。缺点是规则的秩越低越难解释，因为每个规则都假设所有排在它前面的规则不成立。

（2）基于类的排序方案：

属于同一类的规则在规则集R中一起出现。然后这些规则根据他们所属的类信息一起排序。

（2）无序规则：允许一条测试记录触发多条分类规则，把每条被条件触发的后件看做是对应类的一次投票，然后计票确定测试记录的类标号。

规则提取的直接方法

1、顺序覆盖算法：

算法开始时决策表R为空，接下来用函数提取类的覆盖当前训练记录集的最佳规则。在提取规则时，类的所有训练记录被看做是正例，而其他类的训练记录则被当成反例。如果一个规则覆盖大多数正例，没有或者仅覆盖极少数反例，那么该规则是可取的。一旦找到这样的规则，就删掉它所覆盖的训练记录，并把新规则追加到决策表R的尾部。重复这个过程直到满足终止条件。

（1）规则增长策略：从一般到特殊和从特殊到一般

 

（2）规则评估：

a 准确率：缺点是没有考虑到覆盖率

b Laplace

c m估计

是规则覆盖的样例数，是规则覆盖的正例数，是类的总数，是正类的额先验概率

d 使用统计量检出覆盖率较低的规则，似然比统计量：，其中是类的个数，是规则覆盖的类的样本观测频率，是规则作随机猜测的期望频率。是满足自由度为的分布。较大的值说明该规则作出的正确预测数显著地大于随机猜测的结果。

e 信息增益

规则的支持度计数对应于它所覆盖的正例数。假设规则覆盖个正例和个反例。增加新的合取项，扩展后的规则覆盖个正例和个反例。则：

倾向于选择那些高支持度计数和高准确率的规则。

2、算法

（1）对两类问题，算法选择以多数类作为默认类，并为预测少数类学习规则。对于多数类问题，按照类的频率对类进行排序，在第一次迭代中使用顺序覆盖算法产生最不频繁类区分正例和反例的规则。接下来提取区分次不频繁类和其他类的规则，知道剩下最频繁的类作为默认类。

（2）规则增长：使用从一般到特殊的策略进行规则增长；使用信息增益选择最佳合取项添加到规则前件中

（3）建立规则集：规则生产后，它所覆盖的所有正例和反例都要被删除。只要该规则不违反基于最小描述长度原则的终止条件，就将它添加到规则集中。如果新规则将规则集的总描述长度增加了至少个比特位，那么算法就停止将该规则加入到规则集。的另一个终止条件是规则在确认集上的错误率不超过50%。

规则提取的间接方法

利用决策树的结果生成规则