说明：

机器学习课程CS229讲义的《Factor Analysis 》这一节最后直接给出了参数μ和ψ更新后的结果，把推导过程留给了读者。笔者尝试自己进行了推导，却总是得不到讲义中的结果，不知哪里的问题。上网搜了一下，发现有一大堆各位前辈的笔记，但是都没有谈到这个问题。最后，笔者自己找到了一个推导方法，在这里分享出来，供大家参考。至于Factor Analysis 其余部分内容，已经有大量的笔记文章了，在这里就不再赘述了，这里只讨论参数μ和ψ的求取方法。

符号简化约定：

遇到的问题：

解决办法

让我们回到因子分析模型(Factor analysis model)的原始目标函数：

     观察这个目标函数，不像前面的混合高斯模型，不含有隐藏随机变量z，按理说，可以直接通过求目标函数求梯度，然后让梯度为零，于是问题就得解了。然而，很困难，因此才会用EM算法来求解。但是，注意到没有，对于参数μ而言，梯度却很容易计算：

     而对于参数Λ,Ψ，求取梯度就非常困难，还得用EM算法来求解。于是问题得到解决了，同时还可以利用这个结果，将前面的各个结果进行简化：

    上面(g)式中等式右边右下角的diag表示取其对角元素构成的对角矩阵。

    上面各式中的的Ei(z)和Ei(zz^T）可以具体写为：

 

    注意到,参数Ψ的结果与讲义结果也有所不同。

    以上分析可能存在错误的地方，欢迎各位网友批评指正。