From 816ce05deff9a0290bdf62598ba3a42bd288650d Mon Sep 17 00:00:00 2001 From: admin Date: Tue, 10 Jun 2025 07:38:50 +0000 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20=E6=9C=BA=E5=99=A8?= =?UTF-8?q?=E5=AD=A6=E4=B9=A0.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 机器学习.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/机器学习.md b/机器学习.md index 6072ebb..de63f0b 100644 --- a/机器学习.md +++ b/机器学习.md @@ -232,7 +232,7 @@ $$ \hat y_{OLS}=U I U^Ty\\ \hat y_{PCR}=U diag(I_k, 0) U^Ty $$ - OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。 +        OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。 - λ 的选取： - 岭迹法 (ridge trace): 使得绝大多数参数估计的系数都有符合实际意义的绝对值和符号；或所有系数作为 λ 的函数相对稳定。 - 使得所有 VIF ≤ 10. @@ -515,7 +515,7 @@ $$ \log p(X;\theta) = E_q \big[\log \frac{p(X,Z;\theta)}{q(Z)}\big] - E_q \big[\log \frac{p(Z|X;\theta)}{q(Z)}\big] \\ \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, =: ELBO(q, X;\theta)+ KL(q(z)|p(z|x;\theta)) $$ -ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择 $ q(z)=p(z|x;\theta_i) $ (对应E步)。 +       ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择 $ q(z)=p(z|x;\theta_i) $ (对应E步)。 - 变分推断的思想：通过优化参数 $ \phi $ ，将复杂的后验分布 $ q(z|x) $ 用一个更简单的分布 $ q(z;\phi) $ 来近似。ELBO等式左边不依赖于 $ \phi $ ，所以该最优近似等价于优化ELBO。为了化简计算，对 $ q(z;\phi) $ 做分量无关即平均场变分族 (mean-field variational family)的假设。此时变分推断为逐个坐标依次更新，该法称为坐标上升变分推断 (Coordinate Ascent Variational Inference, CAVI)。 - VAE