机器学习

监督学习

监督学习是指我们给算法一个数据集，其中包含了正确答案，算法的目的就是给出更多的正确答案。

 

回归问题

分类问题

不仅仅能处理两到三个或者五个特征，而是能处理无穷多特征的算法。

在监督学习中，对于数据集中的每个样本，进行算法预测并得出“正确答案”

无监督学习

聚类算法（无监督学习的一种）：Organize computing clusters/社交网络分析/客户市场分割/天文数据分析

鸡尾酒会算法：

Octave语言

模型描述

 

监督学习算法的工作：

我们向学习算法提供训练集（比如房价数据集），学习算法的任务是输出一个函数（用h表示，h代表假设函数，假设函数的作用是把房子的大小作为输入变量，并把它作为x的值，输出相应房子的预测y值，h就是一个引导从x得到y的函数）

（右：单变量线性回归）

代价函数

m：训练样本的数量，m=47

h：假设函数

θi：模型参数

（最小二乘法）

代价函数J也被称为平方误差函数，或也被称为平方误差代价函数。是解决回归问题的最常用手段（误差的平方和）

 

代价函数可视化（简化的假设函数）

梯度下降

相关内容可查阅：梯度下降法

该算法被广泛应用于各种领域。

课程用例：

局部最优：

α：学习速率（控制步数，即更新θ的幅度）

θ0与θ1同步更新，否则会出现细微的差别。

将梯度下降算法应用到线性回归模型：

 

“Batch”梯度下降：每一步都遍历了所有的训练集样本。

梯度下降算法适用于更大的数据集。