6.4鲁棒逼近

1. 随机鲁棒逼近
2. 最坏情况鲁棒逼近

逼近的基本目标为，但是希望考虑到矩阵A的不确定性。

随机鲁棒逼近：假设A是随机变量，极小化

最坏鲁棒逼近：在A的取值中，极小化

随机鲁棒逼近

假设A是在中取值的随机变量，均值为，因此可以将A描述为，U为零均值随机变量。自然地，用的均值作为目标函数，即

这一问题称为随机鲁棒逼近问题。举一简单的例子，假设A具有有限个可能值，且其中​​，​​​​于是问题具有如下形式：

此问题称为范数和问题，，也可以表述为：

考虑随机鲁棒最小二乘问题：

记

如果，此时问题变为，即Tikhonov正则化最小二乘问题。

最坏情况鲁棒逼近

用A的可能值集合描述其不确定性，且假设这个集合是非空有界的。于是定义候选的逼近解的最坏误差，

它总是x的凸函数。最坏情况鲁棒逼近问题是极小化最坏情况的误差：

\

先考虑线性结构的范数有界误差，此时

其中

此时考虑鲁棒最小二乘问题：

其Lagrange函数：

对x求偏导数

令其为0，解得：

带入得到对偶函数：

对偶问题：

等价于

等价于：

 

这里假设A具有不确定性：，u是不确定性参数。

1. 名义最优：假设A的名义值为，找问题的最优解，即不考虑A的不确定性。
2. 随机鲁棒逼近：找问题的最优解
3. 最坏情况下鲁棒逼近：找问题的最优解

上图展示了三种逼近的残差函数图像。可以看出在u=0时的残差最小，但是对参数变化敏感。变化较平缓，没有太大的增长，而则介于两者之间。

例子

假设：

上图画出了不同方法的残差频度直方图

1. ，即名义最小二乘解。
2. ，即Tikhonov正则化的解。
3. ，即鲁棒最小二乘解。

从上图可以看出鲁棒最小二乘解和Tikhonov正则化的解队与在整个单位圆上参数的不确定性有相当小的变化。而名义最小二乘解的残差分布广泛。