论文： 贝叶斯优化方法和应用综述（1）--------陈述设计类问题举例子，与 model-free优化计算的对比

陈述：     就是想看一下贝叶斯学派的陈述，从不同的学派的对比，看看有什么优缺点，然后自己思考下。 

摘要：

通过设计恰当的概率代理模型和采集函数,贝叶斯优化框架只需经过少数次目标函数评估即可获得理想解。

引言：

1.首先举例子说明具体的设计类 问题

2.叙述大数据背景，优化数据均在的各种特性

 

 

3. 说明贝叶斯优化在各中不同行业的别名，以及具体的 应用场景

贝叶斯优化(Bayesian Optimization,简称 BO)是一个有效的解决方法[1].贝叶斯优化在不同的领域也称作序贯克里金优化(Sequential Kriging Optimization,简称 SKO)、基于模型的序贯优化(Sequential Model-Based Optimization,简称 SMBO)、高效全局优化(Efficient Global Optimization,简称EGO).该方法是一种基于模型的序贯优化III方法,能够在很少的评估代价下得到一个近似最优解.贝叶斯优化已经应用于网页[2,3,4]、游戏[5]和材料设计[6]、推荐系统[7,8]、用户界面交互[9,10]、机器人步态[11]、导航[12]和嵌入式学习系统[13]、环境监控[14]、组合优化[15,16]、自动机器学习[17,18,19,20,21,22]、传感器网络[23,24]等领域

 贝叶斯优化

 贝叶斯优化是一个十分有效的全局优化算法,目标是找到(全局最优解.根据对未知目标函数 f 获取的信息,找到下一个评估位置,使得最快地达到最优解[26].例如:若已经评估得到三个不同输入 x1、x2、x3 的目标函数值 y1、y2、y3,则如何选择下一个评估点?贝叶斯优化框架能够在少数次评估下得到复杂目标函数的最优解,

本质上因为贝叶斯优化框架使用代理模型拟合真实目标函数,并根据拟合结果主动选择最有“潜力”的评估点进行评估,避免不必要的采样,因此贝叶斯优化也称作主动优化(active optimization).同时,贝叶斯优化框架能够有效利用完整的历史信息来提高搜索效率

贝叶斯定律：

 

 

与无模型（model-free）优化算法的对比作者论文中的陈述：

 

（1）贝叶斯优化通过主动选择策略来确定下一个最有“潜力”的评估点.相比无模型优化方法的随机跳转或邻域搜索策略,主动选择策略利用历史信息和不确定性,通过最大化根据模型后验分布构造的采集函数,能够有效地平衡宽度搜索(探索不确定性区域获取更多未知信息)与深度搜索(利用已有信息寻找当前最优)之间的关系,从而减少不必要的目标函数评估。

（2）无模型 关注于求解效率（这个我是不明白，我只知道进化算法关注于 精度，速度）贝叶斯更侧重于减少评估代价（实际的 应用中，评估代价有些是可以缩减的 吗？，怎么理解？）保证其能够仅经过 少数次目标函数评估就 可得到最优解。

陈述：贝叶斯的局限性：

（1)无模型优化算法不需要考虑模型更新问题,而贝叶斯优化在更新概率代理模型时需要高昂的计算开销.如:使用高斯过程代理黑箱函数时,模型更新的时间复杂度为立方阶.

（2）相比无模型的优化方法,贝叶斯优化需要谨慎地选择模型和先验.使用贝叶斯方法解决具体问题时,需要根据问题背景和专家知识选择合适的概率模型来代理黑箱函数.为贝叶斯优化选择合适的概率代理模型甚至比选择恰当的采集函数更为重要.目前,还不存在一种通用的方法为贝叶斯优化选择合适的代理模型和先验分布,都是采取具体问题具体分析的策略
 

作者的表--------这个有根据吗？我读这个表中的叙述，什么 样的所谓 先验知识？（PSO中的pbest不算？）

感悟：

   阅读到这里的时候就觉得作者写的很好，陈述的都很 连贯。然而就是觉的对进化计算的优缺点陈述哪里，以及表对比哪里 觉得有些不可思议啊

进化计算不需要模型不需要进行辅助，是需要进行多次的迭代，但 算法关注 收敛速度，也不是毫无顾忌的“迭代次数无下限”，还有对表里面的我没有见过也不懂， 就是觉得看结果对比那么多劣势，质疑。  而且我 个人觉的贝叶斯中的主动选择策略，在进化计算中应该是可以达到的吧，也可以最为 改进的方向，就是慢慢的看， 主动选择的概念， 以及操作喽。