分布的相似度(距离)用什么模型比较好?
的有关信息介绍如下:
专栏搬运
[TOC]
本文对比了常见散度(KL散度,JS散度)和常见距离(尤其是现在很火的Wasserstein距离)
散度是用来衡量两个概率密度p,q区别的函数,即:两个分布的相似程度.
这里的 需要满足2个条件: 是凸函数且 .
可以证明:
因为 是凸函数,由Jensen不等式可知
KL散度是F-散度的一个特例,当 的时候:
需要注意
p和q的影响:
KL散度 不对称导致的问题:
换而言之, pq之间的KL散度可能导致惩罚或者梯度差距极大.
PRML 公式10.19附近 有部分介绍
JS散度实际就是KL散度的一个扩展,被用来推导GAN.
需要注意
KL散度和JS散度度量的时候有一个问题:
如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。
-散度
当 时,可以得到KL散度或者reverse KL散度.
只有当 的时候对称.
互信息, 很难计算.
对比互信息和KL散度的公式,可以得到
此外,令 , 则
一个真正的距离或者度量要满足3个条件:
假设从同一分布中采样得到两组测量分别为 和 ,那么他们之间的欧式距离为
这里, 是单位对角矩阵。可以看出:欧氏距离假设测量的不同维度之间是独立的。
这在很多情况都是不合理,例如 x_1代表身高,x_2代表体重,实际这两个不同维度的特性是有关联的,同时他们的尺度也不相同(身高变化10cm和体重变化10kg的意义完全不同)。
为了克服上述的两个问题,就有了马氏距离 Mahalanobis Distance。
与欧氏距离不同的是,马氏距离考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。
其中, 是多维随机变量的协方差矩阵。
更多解释见 https://www.ph0en1x.space/2018/04/18/Mahalanobis/
https://blog.csdn.net/qq_28038207/article/details/81006453
里还证明了 EBGAN 的 loss 是在 minimize TV 距离,而 TV 距离与 JS 是等价的(事实上 KL > TV = JS > EM )
定义为
这里 是 分布组合起来的所有的可能的联合分布的集合, 代表从 中进行采样出一对样本. 针对这对样本,从x搬移到y处所需要的距离就是 . 加上期望就代表,把所有 搬移到 所需要的距离.
Wasserstein距离满足距离的三个要求.
可以证明其满足三角不等式
Wessertein距离相比KL散度和JS散度的优势在于:即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义. (6)中的 又叫 距离, 这样就会有 距离和 距离
距离(EMD距离)
TODO
距离
距离的求解是非常麻烦的,但是在某种情况下求解很方便.
针对两个高斯分布, 距离有闭式解(线性时间求解):
如果这两个高斯分布的方差矩阵为对角矩阵,即 ,上式可以进一步简化.
举例如下:
考虑如下二维空间中的两个分布pq,p在线段AB上均匀分布,q在线段CD上均匀分布,通过控制参数 可以控制着两个分布的距离远近。
可以看出JS和KL都出现了突变,而W距离保持平滑



