更新 机器学习.md

机器学习.md

@@ -232,7 +232,7 @@ $$
 \hat y_{OLS}=U I U^Ty\\
 \hat y_{PCR}=U  diag(I_k, 0) U^Ty 
 $$  
-  OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。
+        OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。
 - λ 的选取：
   - 岭迹法 (ridge trace): 使得绝大多数参数估计的系数都有符合实际意义的绝对值和符号；或所有系数作为 λ 的函数相对稳定。
   - 使得所有 VIF ≤ 10.
@@ -515,7 +515,7 @@ $$
  \log p(X;\theta) = E_q \big[\log \frac{p(X,Z;\theta)}{q(Z)}\big] - E_q \big[\log \frac{p(Z|X;\theta)}{q(Z)}\big] \\
 \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, =: ELBO(q, X;\theta)+ KL(q(z)|p(z|x;\theta)) 
 $$ 
-ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择  $ q(z)=p(z|x;\theta_i) $ (对应E步)。
+       ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择  $ q(z)=p(z|x;\theta_i) $ (对应E步)。
 - 变分推断的思想：通过优化参数 $ \phi $ ，将复杂的后验分布 $ q(z|x) $ 用一个更简单的分布 $ q(z;\phi) $ 来近似。ELBO等式左边不依赖于 $ \phi $ ，所以该最优近似等价于优化ELBO。为了化简计算，对 $ q(z;\phi) $ 做分量无关即平均场变分族 (mean-field variational family)的假设。此时变分推断为逐个坐标依次更新，该法称为坐标上升变分推断 (Coordinate Ascent Variational Inference, CAVI)。
 - VAE