机器学习---4
十三 SVM—线性可分SVM原理
十四 SVM—直观理解拉格朗日乘子法
十五 SVM对偶学习
十六 线性SVM、间隔由硬到软
十七 非线性SVM和核函数
十八 SVR－一种宽容的回归模型
十九 直观认识SVM和SVR
SVM
SVR
二十 HMM－定义和假设
二十一 HMM－三个基本问题
概率计算问题
预测问题
学习问题
二十二 HMM－三个基本问题的计算
直接计算
前向-后向算法
预测算法
二十三 CRF-概率无向图模型到线性链条件随机场
概率无向图模型（Probabilistic Undirected Graphical Model）是一个可以用无向图表示的联合概率分布。
它的整体结构是一张图（Graph），图中每一个节点表示一个或者一组变量，节点之间的边表示这两个/组变量之间的依赖关系。
概率无向图模型还有一个名字——马尔可夫随机场。
势函数和团
关于马尔可夫随机场，有几个非常重要的概念。
势函数（Potential Function，又称为因子 Factor）：是定义在变量子集上的非负实函数，用于定义概率分布函数。
团（Clique）：图中节点的子集，其中任意两个节点之间都有边连接。
极大团：一个团，其中加入任何一个其他的节点都不能再形成团。
马尔可夫随机场中，多个变量之间的联合概率分布可以基于团分解为多个势函数的乘积，每个势函数仅与一个团相关。
条件随机场（Conditional Random Field，CRF）
无向图模型
CRF 也是一种无向图模型。
它和马尔可夫随机场的不同点在于：马尔可夫随机场是生成式模型，直接对联合分布进行建模；而条件随机场是判别式模型，对条件分布进行建模。
但两者又是相关的，CRF 是“有条件的”马尔可夫随机场。也就是说，CRF 是给定随机变量 X 条件下，随机变量 Y 的马尔可夫随机场。定义这里我们给出 CRF 的定义：设 X 和 Y 是随机变量，P(Y|X) 是给定 X 条件下 Y 的条件概率分布。如果随机变量 Y 构成一个由无向图 G=<V,E> 表示的马尔可夫随机场，则称条件概率分布 P(Y|X) 为 CRF。
二十四 CRF—三个基本问题
- 概率计算问题。
- 预测问题。
- 学习问题
二十五 从有监督到无监督：由KNN引出Kmeans
二十六 K-means—最简单的聚类算法
二十七 谱聚类–无需指定簇数量的聚类
聚类方法有很多，有一种算法，不仅不需要事先指定 k 值，还可以在结果中保证每个簇中的个体数量低于某个量值，这就是基于图切割的谱聚类（Spectral Clustering）。
基于图切割的谱聚类算法过程分为两个大的步骤：
1.图切割
2.谱聚类
二十八 EM算法－－－估计含有隐变量的概率模型的参数
EM（期望最大化，Expectation-Maximization）算法，是一种用于对含有隐变量的概率模型的参数，进行极大似然估计的迭代算法。
二十九 GMM—归类样本
高斯混合模型
三十 GMM－－用EM算法求解ＧＭＭ
三十一 PCA
主成成分分析
三十二 PCA
三十三 人工智能和神经网络