KL散度（Kullback-Leibler Divergence）是一種衡量兩個機率分布之間差異的方法，主要用於資訊理論和機率論中。它的主要特點是衡量當一個機率分布用來近似另一個機率分布時所引入的信息損失。KL散度也被稱為相對熵，它不是對稱的，並且總是非負的，只有在兩個分布完全相同時，KL散度才為零。
定義：
對於兩個機率分布P和Q，KL散度的定義如下：
離散情況：(D_{KL}(P || Q) = \sum_{x \in X} P(x) \log \frac{P(x)}{Q(x)})，其中 (P(x)) 和 (Q(x)) 分別表示P和Q分布在x上的機率。
連續情況：(D_{KL}(P || Q) = \int_{\forall x} p(x) \log \frac{p(x)}{q(x)} dx)，其中 (p(x)) 和 (q(x)) 分別表示P和Q的機率密度函式。
性質：
非負性：(D_{KL}(P || Q) \geq 0)，僅當 (P = Q) 時取等號。
不對稱性：(D_{KL}(P || Q)
eq D_{KL}(Q || P))，這意味著從P到Q的KL散度與從Q到P的KL散度不同。
不滿足三角不等式：因此，KL散度不是一個真正的距離度量。
套用：
在機器學習和數據科學中，KL散度被廣泛套用於比較兩個機率分布的相似性，例如在變分自編碼器（VAE）、生成對抗網路（GAN）和混合模型中。
它也用於評估機率模型的好壞，通過比較模型分布和真實分布之間的KL散度。
在信息增益和最佳化生成式模型的損失函式方面也有套用。
總之，KL散度是一個重要的工具，用於衡量兩個機率分布之間的差異，它在機器學習、資訊理論和機率論中有廣泛的套用。