ELM和RVFL两种网络的超详细介绍

最近一直在跑程序，在看文章时注意到了这两种网络（ELM和RVFL）。自己查阅资料做了简单的总结。希望在大家学习时帮助到大家。

一、RVFL（Random vector functional link network）

首先明确一点，在进行分类的时候，N代表输入数据的个数，d代表输入数据的维度，Y代表的是输入数据代表的标签，c表示的是类别个数，L代表隐含层的节点数。例如对于常见的鸢尾花数据集来说，数据集的信息，可以看另一篇微博https://blog.****.net/jodie123456/article/details/89644498，在iris中，N = 150，d = 4,Y = 150(所对应的标签), c = 3(代表三类)。

首先RVFL的主要思想就是利用隐含层学习的增强非线性核原始数据来提高泛化能力。

所以根据以上分析，RVFL网络对应的公式描述如下：

                                                

首先，h是隐含层的**函数，后面的公式时代表的是从输入层直接到输出层的连接输出。

于是隐含层输出矩阵就可以写成下面的矩阵。

                                          

然后此时可以根据最小二乘法去计算输出层的权重

                                                                       

 

二、ELM（Extreme learning machine）

ELM网络的公式描述如下所示:

                                                           

 公式里的h代表隐含层的**函数，在这里与RVFL不同的是，没有了输入层到输出层的这一项。

那么对于隐含层的输出矩阵可以描述如下：

                                                                        

根据Moore-Penrose广义逆的方法，可以求得输出矩阵

                                                                                        

最后附上网络结构图

                                                

在这里提及一下，在ELM训练过程中,ELM不调整输入层到隐含层之间的权值，这些权值随机设定，因此ELM训练速度非常快，ELM注重于隐含层到输出层的权值的选取，其采用的方法是最小二乘法。

在这里需要注意一下，如果H是列满秩的，那么可以通过最小二乘找到最佳的权值。

如果H是非列满秩的，那么可以使用奇异值分解求解H的广义逆来计算最佳权值。

希望帮助到大家。