您的位置: 首页  >  文章  >  元学习（Meta Learning）中的数学推导（梯度下降公式推导）

元学习（Meta Learning）中的数学推导（梯度下降公式推导）

分类: 文章 • 2024-11-10 19:28:10

文中元学习（Meta Learning）是学习了李宏毅教授的视频https://www.bilibili.com/video/BV1w4411872t?from=search&seid=1873861796790113250（关于文中的公式推导，实际上是MAML的公式推导）

  1. 参数更新公式：
    元学习（Meta Learning）中的数学推导（梯度下降公式推导）
    其中第一个公式为MAML中初始参数的更新，也就是MAML想要做的，找到一个较好的初始参数。
    第二个公式为MAML的损失函数，是所有task损失函数的和。
    第三个公式为每一个task的初始参数更新，MAML中限制只更新一次。

  2. 提出问题：
    根据参数更新的第一，二两个公式，可以将公式一中的梯度写成如下：

元学习（Meta Learning）中的数学推导（梯度下降公式推导）
此时，有一个问题，梯度是
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
那么元学习（Meta Learning）中的数学推导（梯度下降公式推导）

  1. 公式推导

元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）

元学习（Meta Learning）中的数学推导（梯度下降公式推导）

元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）

元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
所以元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）
元学习（Meta Learning）中的数学推导（梯度下降公式推导）

相关推荐