更新 机器学习.md

机器学习.md

@@ -108,9 +108,9 @@
 - 奇异值分解 (SVD)： $A_{m\times n}=U_{m\times m}\Sigma_{m\times n} V_{n\times n}^T$ ，这里U和V正交矩阵，$\Sigma=diag(1,...,1,0,...)$
 - 紧奇异值分解 (compact singular value decomposition)等号；截断奇异值分解 (truncated singular value decomposition)约等于
 - 线性判别分析(Linear Discriminant Analysis, LDA)是有监督的降维方法。思想是将每个类的样本点投影到低维超平面上使得类内方差最小，类外方差最大即使得降维后类间的分隔尽可能的大
-- $S_w$类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵，再对类求和
-- $S_t$全局散度：所有样本协方差
-- $S_b$类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$
-- LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$求对角线元素乘积；这里$S_b$秩最多k − 1也就是说非零特征根最多k − 1个，所以最大的投影超平面为 k − 1维
+- $S_w$ 类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵，再对类求和
+- $S_t$ 全局散度：所有样本协方差
+- $S_b$ 类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$
+- LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$ 求对角线元素乘积；这里 $S_b$ 秩最多k − 1也就是说非零特征根最多k − 1个，所以最大的投影超平面为 k − 1维
 - PCA 和 LDA 不同点：1有无监督；2维数不能超过类别数；3 LDA过分依赖类的中心，所以当类中心比较接近而依靠方差来分类时，PCA投影后分类效果优于LDA
 - 稀疏编码：寻找一组过完备(overcomplete)的基向量（基向量个数远大于dim x）$A = [a_1, · · · , a_M]$来表示样本$x=Ah$，这里$h$稀疏