机器学习(十)- Neural Network representation

Non-linear hypotheses

我们继续讨论分类的话题,对于之前的较为简单的逻辑回归来说,我们一直在讨论2个参数的情况,是因为它直观,我们可以在二维平面上直接展示出来,利于我们学习,就例如下图左上角的一个非线性分类,我们想要去拟合一条二维曲线。
机器学习(十)- Neural Network representation
但是当参数增多,如上图假设我们有100个参数,如果进行参数组合成特征,光2次项就会有大约5000左右的feature,3次项会有大约170000的feature,可想而知4次项,5此项,又或者参数数量更大,那feature数量将难以想象,这个时候逻辑回归仿佛就会变得力不从心,难以完成我们的分类任务。再举一个实际的例子。
机器学习(十)- Neural Network representation
如上图,我们在进行目标检测,检测一张图片是否是car,假设我们的图片仅仅只有50×50像素大小(这已经很小了)而且还是灰度图,那么显然我们有2500个参数,如果我们要运用逻辑回归,我们选择使用二次项特征,那么我们就将大约3million个feature,那么显然对于复杂的分类任务,逻辑回归就不适用了。那么接下来就要开始介绍Neural Network(神经网络)。

Neural Network representation

这里就不讲述它为什么好了和它的由来了,直接讲解神经网络模型的表示方式。(公式我就不打了,全在图里,哈哈哈!)
机器学习(十)- Neural Network representation
神经网络中每个神经元其实是一个逻辑运算单元,一般用到的函数就是逻辑回归中用到的sigmoid函数,在这里我们称之为神经元的**函数,当然**函数不止sigmoid一种。
每个神经元将上一层的神经元的线性组合θTx作为输入,然后经过**函数给出一个输出hθ(x)
在这里简单带一句关于层的说法,一个多层的神经网络,除了第一层叫做输入层,最后一层叫做输出层,中间的所有层都叫做隐藏层。所有的参数说明和向量化的过程都在下面两张图里了,个人觉得比起我把公式一一打出来,其实Andrew Ng教授的PPT更加直观。
机器学习(十)- Neural Network representation
机器学习(十)- Neural Network representation

(5)x=a(1)(6)z(j)=θ(j1)a(j1)(7)a(j)=g(z(j))(8)hθ(x)=a(L)=g(z(L))


小广告

淘宝choker、耳饰小店 物理禁止
女程序员编码时和编码之余 都需要一些美美的choker、耳饰来装扮自己
男程序员更是需要常备一些来送给自己心仪的人
淘宝小店开店不易 希望有缘人多多支持 (O ^ ~ ^ O)
本号是本人 只是发则小广告 没有被盗 会持续更新深度学习相关博文和一些翻译
感谢大家 不要拉黑我 ⊙﹏⊙|||°
机器学习(十)- Neural Network representation