软阈值函数学习笔记:理论推导、案例解析、代码

感想:

    与软阈值函数相关的博文,各大网站多如牛毛。然而,详解的文章却不多,大都是摘抄、拼凑,有的只有几个公式,有的只是写段代码,就草草了事。这给初学者来带来了很大困扰。初学者对软阈值函数知之甚少,抱着学习的精神,猛看这些博文,却被这些博文误导得颇深,被迷惑得很严重,平添许多烦闷。本文通过呈现详细的推导过程,让初学者能够不仅知其然,还能知其所以然。

    实际上,软阈值函数的推导过程其实很简单,只用到了高中一年级二次函数和大学一年级函数连续的知识。然而,如此简单的方法,却鲜见于最优化理论相关的书籍、****中。

    在我初学软阈值函数时,文献[6]给了我很大的帮助,在此太感谢这位博主。他的博文在结论处写道:软阈值是各种算法的基础,根本没法子绕过去的,这也是我的切身体会,读者应予以重视。但是对于他的博文中给出的软阈值的矩阵形式,我认为不十分合理,值得商榷。

    文章在网页上是图片格式,这为读者的二次编辑带来了些许不变。对此,非常抱歉。一方面软阈值推导过程中的公式较多,word文档上传至网页后,很容易出现乱码,影响阅读。另一方面,该博文是原创文章,作者保留了底稿。手机端阅读,屏幕太小的原因,体验并不好,建议读者在电脑端阅读,一支笔,一打草稿纸,遇到不理解的地方,自己试着独立推导,这样会加深理解。

文章有误的地方,欢迎联系我一起共同讨论,我的邮箱地址为:[email protected]

欢迎关注我的公众号:信号处理与机械故障诊断


软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

软阈值函数学习笔记:理论推导、案例解析、代码

 

参考文献

[1] Donoho D L , Johnstone I M . Ideal Spatial Adaptation by Wavelet Shrinkage[J]. Biometrika, 1994, 81(3).

[2] Donoho, D. L . De-noising by soft-thresholding[J]. IEEE Transactions on Information Theory, 2002, 41(3):613-627.

[3] Parikh, Neal. Proximal Algorithms[J]. Foundations & Trends in Optimization, 2014, 1(3):127-239.

[4] Elad M , Member S , IEEE, et al. On the Role of Sparse and Redundant Representations in Image Processing[J]. Proceedings of the IEEE, 2010, 98(6):972-982.

[5] Afonso M V , Bioucas-Dias, José M, Figueiredo, Mário A. T. Fast Image Recovery Using Variable Splitting and Constrained Optimization[J]. IEEE Trans Image Process, 2010, 19(9):2345-2356.

[6] 软阈值(Soft Thresholding)函数解读,链接:

https://blog.csdn.net/jbb0523/article/details/52103257