admin/test
0
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

更新 机器学习.md

Browse Source
This commit is contained in:
admin 2025-06-10 06:44:44 +00:00
parent d15b61d2ef
commit 3d26098b17
1 changed files with 4 additions and 4 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
机器学习.md
View File

@ -108,9 +108,9 @@
- 奇异值分解 (SVD)： $A_{m\times n}=U_{m\times m}\Sigma_{m\times n} V_{n\times n}^T$ ，这里U和V正交矩阵，$\Sigma=diag(1,...,1,0,...)$ - 奇异值分解 (SVD)： $A_{m\times n}=U_{m\times m}\Sigma_{m\times n} V_{n\times n}^T$ ，这里U和V正交矩阵，$\Sigma=diag(1,...,1,0,...)$
- 紧奇异值分解 (compact singular value decomposition)等号；截断奇异值分解 (truncated singular value decomposition)约等于 - 紧奇异值分解 (compact singular value decomposition)等号；截断奇异值分解 (truncated singular value decomposition)约等于
- 线性判别分析(Linear Discriminant Analysis, LDA)是有监督的降维方法。思想是将每个类的样本点投影到低维超平面上使得类内方差最小，类外方差最大即使得降维后类间的分隔尽可能的大 - 线性判别分析(Linear Discriminant Analysis, LDA)是有监督的降维方法。思想是将每个类的样本点投影到低维超平面上使得类内方差最小，类外方差最大即使得降维后类间的分隔尽可能的大
- $S_w$类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵，再对类求和 - $S_w$ 类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵，再对类求和
- $S_t$全局散度：所有样本协方差 - $S_t$ 全局散度：所有样本协方差
- $S_b$类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$ - $S_b$ 类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$
- LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$求对角线元素乘积；这里$S_b$秩最多k − 1也就是说非零特征根最多k − 1个，所以最大的投影超平面为 k − 1维 - LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$ 求对角线元素乘积；这里 $S_b$ 秩最多k − 1也就是说非零特征根最多k − 1个，所以最大的投影超平面为 k − 1维
- PCA 和 LDA 不同点：1有无监督；2维数不能超过类别数；3 LDA过分依赖类的中心，所以当类中心比较接近而依靠方差来分类时，PCA投影后分类效果优于LDA - PCA 和 LDA 不同点：1有无监督；2维数不能超过类别数；3 LDA过分依赖类的中心，所以当类中心比较接近而依靠方差来分类时，PCA投影后分类效果优于LDA
- 稀疏编码：寻找一组过完备(overcomplete)的基向量（基向量个数远大于dim x）$A = [a_1, · · · , a_M]$来表示样本$x=Ah$，这里$h$稀疏 - 稀疏编码：寻找一组过完备(overcomplete)的基向量（基向量个数远大于dim x）$A = [a_1, · · · , a_M]$来表示样本$x=Ah$，这里$h$稀疏