kl散度与js散度_数据集相似度度量之KL&JS散度

一、KL散度

1、什么是KL散度

KL散度又叫相对熵，是描述两个概率分布差异的一种方法，有人将KL散度称为KL距离，但实际上它不满足距离概念中的两个条件，a、对称性，即D(P||Q)=D(Q||P);  b、三角不等式；

2、有什么样的作用

模型效果好不好，在数据划分上大有讲究，如果训练集与测试集数据分布不满足同分布，模型表现必然不会太好，因此划分数据集之后对于两个数据分布验证变得非常重要，针对分类任务验证概率质量相似度，针对回归问题验证两者的概率密度相似度，两者分布越相似，相对熵越接近于0；

3、实现方式

a、离散性标签，各标签概率及相应对数求和操作

b、连续型标签，针对x的无个数区间概率及对数积分操作

from sklearn import datasetsfrom collections import Counterimport numpy as np
random_state=32def getData(n_classes,weights,n_features,n_samples):
    train,label=datasets.make_classification(n_classes=n_classes,class_sep=2,weights=weights,n_features=n_features,n_samples=n_samples,random_state=random_state)return train,labeldef computePdotLnP(p,q,I=True):if I:return p*np.log(p/q)else:return p*np.log(p/q)*0.01def computeKL(train_label:np.array,test_label:np.array):
    KlValue=0.0n_trai