第四章 4 、 1 使用语言模型生成句子，专家系统及概率统计学习（一）

• 基于Bi-的LM模型

在大量语料库里面训练语言模型
生成单词的概率矩阵，穿线NLP之后出现哪些单词的概率
比如随机出现的但此时I，那么下一个就是I中的可能性最大的，以此类推

• 学习：专家系统 VS 概率系统

专家系统：基于规则的实现。符号主义
概率系统：基于学习，深度学习，机器学习。概率统计重要。连接主义

专家系统

专家系统：会用到逻辑离散数学一系列的指示，去推理出结论。推理引擎

• 算法一：Fordword Chain Algorithm
  每一层循环：从前向后依次循环每一个规则，
  
• 算法二：Backword Chain Algorithm
  现在假设D是正确的，那么我需要知道A B 是正确的
  1、要证明D是正确的，我要知道G正确
  2、要证明个G正确，我要知道A E正确
  3、现在我知道A正确，我要知道E正确
  4、要知道E正确,我要知道B正确。。。
  5、现在B正确，结束

专家系统的限制：

• 案例：金融风控模型
  规则引擎：就是专家人为写好的，一条一条的规则
  基于规则的学习：违反一条就扣分，最后计算总的得分。根据阈值来判断结果。
  
  存在的三个问题：
• 解决冲突

解决冲突：假设有10条规则，不知道第10条跟前9条有没有冲突，那么我就把前9条当成facts，第10条当成prove，使用forward 或者backword。看师傅欧能够证明出来一样的，不能是相反的。删掉冲突的规则

• 最小规则子集：防止冗余规则，找出最小规则个数