Adaptive Mixtures of Local Experts 阅读

Adaptive Mixtures of Local Experts
背景
将多个场景不同任务进行分割，通过不同的experts进行预测。

第一次大概读到的，后面还需要读：

1. 以前版本，多个experts预测后，基于experts的统计概率进行线性加和。这样缺点是，一个experts的统计概率发生变化，其他的也会变化。 即，多个experts需要互相配合。
   
   其中，d是期望向量， p是某experts的统计概率， o是该experts输出向量
2. 现在，让一个experts负责一个task.减少experts之间的影响。误差函数：
   
3. gating Network &Multi Experts
   
4. 猜测，pi求解过程，看论文，应该是利用梯度下降方法，求解每个exerts在每个task上的p. 对应tasks上取最大统计概率的experts.