diff --git a/机器学习.md b/机器学习.md index e68def4..bc5ba9f 100644 --- a/机器学习.md +++ b/机器学习.md @@ -108,9 +108,9 @@ - 奇异值分解 (SVD): $A_{m\times n}=U_{m\times m}\Sigma_{m\times n} V_{n\times n}^T$ ,这里U和V正交矩阵,$\Sigma=diag(1,...,1,0,...)$ - 紧奇异值分解 (compact singular value decomposition)等号;截断奇异值分解 (truncated singular value decomposition)约等于 - 线性判别分析(Linear Discriminant Analysis, LDA)是有监督的降维方法。思想是将每个类的样本点投影到低维超平面上使得类内方差最小,类外方差最大即使得降维后类间的分隔尽可能的大 -- $S_w$类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵,再对类求和 -- $S_t$全局散度:所有样本协方差 -- $S_b$类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$ -- LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$求对角线元素乘积;这里$S_b$秩最多k − 1也就是说非零特征根最多k − 1个,所以最大的投影超平面为 k − 1维 +- $S_w$ 类内散度矩阵 (within-class scatter matrix)(也就是样本协方差矩阵m × m):类内样本协方差矩阵,再对类求和 +- $S_t$ 全局散度:所有样本协方差 +- $S_b$ 类间散度矩阵 (between-class scatter matrix) $$S_t-S_w=\sum |C_i| (\mu_i-\mu)(\mu_i-\mu)^T$$ +- LDA就是最大化 $max_W \frac{W^TS_bW}{W^TS_wW}$ 求对角线元素乘积;这里 $S_b$ 秩最多k − 1也就是说非零特征根最多k − 1个,所以最大的投影超平面为 k − 1维 - PCA 和 LDA 不同点:1有无监督;2维数不能超过类别数;3 LDA过分依赖类的中心,所以当类中心比较接近而依靠方差来分类时,PCA投影后分类效果优于LDA - 稀疏编码:寻找一组过完备(overcomplete)的基向量(基向量个数远大于dim x)$A = [a_1, · · · , a_M]$来表示样本$x=Ah$,这里$h$稀疏 \ No newline at end of file