您的位置首页生活百科

分布的相似度(距离)用什么模型比较好?

分布的相似度(距离)用什么模型比较好?

的有关信息介绍如下:

分布的相似度(距离)用什么模型比较好?

专栏搬运

[TOC]

本文对比了常见散度(KL散度,JS散度)和常见距离(尤其是现在很火的Wasserstein距离)

散度是用来衡量两个概率密度p,q区别的函数,即:两个分布的相似程度.

这里的 需要满足2个条件: 是凸函数且 .

可以证明:

因为 是凸函数,由Jensen不等式可知

KL散度是F-散度的一个特例,当 的时候:

需要注意

p和q的影响:

KL散度 不对称导致的问题:

换而言之, pq之间的KL散度可能导致惩罚或者梯度差距极大.

PRML 公式10.19附近 有部分介绍

JS散度实际就是KL散度的一个扩展,被用来推导GAN.

需要注意

KL散度和JS散度度量的时候有一个问题:

如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。

-散度

当 时,可以得到KL散度或者reverse KL散度.

只有当 的时候对称.

互信息, 很难计算.

对比互信息和KL散度的公式,可以得到

此外,令 , 则

一个真正的距离或者度量要满足3个条件:

假设从同一分布中采样得到两组测量分别为 和 ,那么他们之间的欧式距离为

这里, 是单位对角矩阵。可以看出:欧氏距离假设测量的不同维度之间是独立的。

这在很多情况都是不合理,例如 x_1代表身高,x_2代表体重,实际这两个不同维度的特性是有关联的,同时他们的尺度也不相同(身高变化10cm和体重变化10kg的意义完全不同)。

为了克服上述的两个问题,就有了马氏距离 Mahalanobis Distance。

与欧氏距离不同的是,马氏距离考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。

其中, 是多维随机变量的协方差矩阵。

更多解释见 https://www.ph0en1x.space/2018/04/18/Mahalanobis/

https://blog.csdn.net/qq_28038207/article/details/81006453

里还证明了 EBGAN 的 loss 是在 minimize TV 距离,而 TV 距离与 JS 是等价的(事实上 KL > TV = JS > EM )

定义为

这里 是 分布组合起来的所有的可能的联合分布的集合, 代表从 中进行采样出一对样本. 针对这对样本,从x搬移到y处所需要的距离就是 . 加上期望就代表,把所有 搬移到 所需要的距离.

Wasserstein距离满足距离的三个要求.

可以证明其满足三角不等式

Wessertein距离相比KL散度和JS散度的优势在于:即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义. (6)中的 又叫 距离, 这样就会有 距离和 距离

距离(EMD距离)

TODO

距离

距离的求解是非常麻烦的,但是在某种情况下求解很方便.

针对两个高斯分布, 距离有闭式解(线性时间求解):

如果这两个高斯分布的方差矩阵为对角矩阵,即 ,上式可以进一步简化.

举例如下:

考虑如下二维空间中的两个分布pq,p在线段AB上均匀分布,q在线段CD上均匀分布,通过控制参数 可以控制着两个分布的距离远近。

可以看出JS和KL都出现了突变,而W距离保持平滑