admin/test
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

更新 机器学习.md

Browse Source
This commit is contained in:
admin 2025-06-10 07:38:50 +00:00
parent f056ad3345
commit 816ce05def
1 changed files with 2 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
机器学习.md
View File

@ -232,7 +232,7 @@ $$
\hat y_{OLS}=U I U^Ty\\ \hat y_{OLS}=U I U^Ty\\
\hat y_{PCR}=U diag(I_k, 0) U^Ty \hat y_{PCR}=U diag(I_k, 0) U^Ty
$$ $$
OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。        OLS 可以看做 λ = 0 的情形；PCR 则可以看做前 k 个λ为0, 其余的主成分无穷. ridge为PCR的smoothing；ridge偏向于惩罚小的主成分。
- λ 的选取： - λ 的选取：
- 岭迹法 (ridge trace): 使得绝大多数参数估计的系数都有符合实际意义的绝对值和符号；或所有系数作为 λ 的函数相对稳定。 - 岭迹法 (ridge trace): 使得绝大多数参数估计的系数都有符合实际意义的绝对值和符号；或所有系数作为 λ 的函数相对稳定。
- 使得所有 VIF ≤ 10. - 使得所有 VIF ≤ 10.
@ -515,7 +515,7 @@ $$
\log p(X;\theta) = E_q \big[\log \frac{p(X,Z;\theta)}{q(Z)}\big] - E_q \big[\log \frac{p(Z|X;\theta)}{q(Z)}\big] \\ \log p(X;\theta) = E_q \big[\log \frac{p(X,Z;\theta)}{q(Z)}\big] - E_q \big[\log \frac{p(Z|X;\theta)}{q(Z)}\big] \\
\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, =: ELBO(q, X;\theta)+ KL(q(z)|p(z|x;\theta)) \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\, =: ELBO(q, X;\theta)+ KL(q(z)|p(z|x;\theta))
$$ $$
ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择 $ q(z)=p(z|x;\theta_i) $ (对应E步)。        ELBO为证据下界 (Evidence Lower Bound, ELBO)。EM算法也可用ELBO解释：因为 $ KL\geq 0 $ ，可通过最大化ELBO来求 $ p(X;\theta) $ 的MLE。但是为了下界更贴合，选择 $ q(z)=p(z|x;\theta_i) $ (对应E步)。
- 变分推断的思想：通过优化参数 $ \phi $ ，将复杂的后验分布 $ q(z|x) $ 用一个更简单的分布 $ q(z;\phi) $ 来近似。ELBO等式左边不依赖于 $ \phi $ ，所以该最优近似等价于优化ELBO。为了化简计算，对 $ q(z;\phi) $ 做分量无关即平均场变分族 (mean-field variational family)的假设。此时变分推断为逐个坐标依次更新，该法称为坐标上升变分推断 (Coordinate Ascent Variational Inference, CAVI)。 - 变分推断的思想：通过优化参数 $ \phi $ ，将复杂的后验分布 $ q(z|x) $ 用一个更简单的分布 $ q(z;\phi) $ 来近似。ELBO等式左边不依赖于 $ \phi $ ，所以该最优近似等价于优化ELBO。为了化简计算，对 $ q(z;\phi) $ 做分量无关即平均场变分族 (mean-field variational family)的假设。此时变分推断为逐个坐标依次更新，该法称为坐标上升变分推断 (Coordinate Ascent Variational Inference, CAVI)。
- VAE - VAE