西瓜书-机器学习5.5 其他常见神经网络- RBF网络

5.5.1 RBF网络

RBF网络(Radial Basis Function, 径向基函数)网络是一种单隐层前馈神经网络，

使用径向基函数作为隐层神经元**函数，

径向基函数

取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意一点c的距离，c点称为中心点，也就是Φ（x，c）=Φ(‖x-c‖)。任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的一般使用欧氏距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。在神经网络结构中，可以作为全连接层和ReLU层的主要函数。
————————————————
版权声明：本文为****博主「J-Moriarty」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.****.net/weixin_40802676/article/details/100805545

径向基函数：

当年径向基函数的诞生主要是为了解决多变量插值的问题。可以看下面的图。具体的话是先在每个样本上面放一个基函数，图中每个蓝色的点是一个样本，然后中间那个图中绿色虚线对应的，就表示的是每个训练样本对应一个高斯函数（高斯函数中心就是样本点）。然后假设真实的拟合这些训练数据的曲线是蓝色的那根（最右边的图），如果我们有一个新的数据x1，我们想知道它对应的f(x1)是多少，也就是a点的纵坐标是多少。那么由图可以看到，a点的纵坐标等于b点的纵坐标加上c点的纵坐标。而b的纵坐标是第一个样本点的高斯函数的值乘以一个大点权值得到的，c的纵坐标是第二个样本点的高斯函数的值乘以另一个小点的权值得到。而其他样本点的权值全是0，因为我们要插值的点x1在第一和第二个样本点之间，远离其他的样本点，那么插值影响最大的就是离得近的点，离的远的就没什么贡献了。所以x1点的函数值由附近的b和c两个点就可以确定了。拓展到任意的新的x，这些红色的高斯函数乘以一个权值后再在对应的x地方加起来，就可以完美的拟合真实的函数曲线了。
————————————————
版权声明：本文为****博主「zouxy09」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.****.net/zouxy09/article/details/13297881

输出层是对隐层神经元输出的线性组合。

假定输入为维向量，输出为实值， 则RBF网络可表示为：

隐层神经元个数：； 和分别是第个隐层神经元所对应的中心和权重；

是径向基函数，这是某种沿径向对称的标量函数，通常定义为样本到数据中心之间欧式距离的单调函数，常用的高斯径向基函数形如：

[Park and Sandber, 1991]证明，具有足够多隐层神经元的RBF网络能以任意精度逼近任意连续函数。

Park and Sandber, 1991，Univeral approximation using radial-basis-function networks. (pdf已经下载）

https://baijiahao.baidu.com/s?id=1613225006802463015&wfr=spider&for=pc

 

Python实现

 

RBF神经网络模型训练

https://github.com/shiluqiang/RBF_NN_Python

 

 

 

参考

https://blog.****.net/weixin_40802676/article/details/100805545

https://blog.****.net/zouxy09/article/details/13297881

https://blog.****.net/liuy9803/article/details/81510296

https://blog.****.net/weixin_33843409/article/details/94601394

https://blog.****.net/Luqiang_Shi/article/details/84450655