diff --git a/机器学习.md b/机器学习.md index 9a390fe..832b668 100644 --- a/机器学习.md +++ b/机器学习.md @@ -11,7 +11,7 @@ - 交叉熵 (cross entropy): $H(p,q)=\sum -p(x_i) \log q(x_i)$ - 相对熵 (relative entropy) 或者 KL 散度 (Kullback-Leibler divergence, KLD): $D_{KL}(p||q):=H(p,q)-H(p)= \sum -p(x_i)\log \frac{q(x_i)}{p(x_i)}$ - $g(X,Y)=D_{KL}(p(x,y)||p(x)p(y))$ -- JS 散度:$JS:=1/2 ( D_{KL}(p||m) + D_{KL}(q||m) )$, 这里$m=(p+q)/2$ p和q支撑集不相交时,JS 散度为一个常数 log2 +- JS 散度:$JS:=1/2 ( D_{KL}(p||m) + D_{KL}(q||m) )$, 这里$m=(p+q)/2$ 。p和q支撑集不相交时,JS 散度为一个常数 log2 - 最小化交叉熵=最小化KL=极大似然 ### Bias-Variance tradeoff