محاسبه واگرایی دو توزیع احتمال
واگرایی کولبک-لیبلر معیاری است جهت اندازه گیری واگرایی یک توزیع احتمال از یک توزیع احتمال ثانویه. مقدار صفر این معیار به معنای آن است که می توانیم انتظار رفتار مشابه (و نه دقیقا یکسان) از دو توزیع را داشته باشیم. در حالیکه مقدار یک نشان می دهد که دو نوع توزیع دارای رفتار متضادی هستند.
مقدار واگرایی KL توزیع Q نسبت به توزیع P اغلب به صورت زیر نشان داده می شود:
[math]{D}_{KL}{(P}\parallel{Q)}[/math]
در حوزه اطلاعات، از این معیار به عنوان بهره اطلاعاتی حاصله به شرطی که به جای توزیع P از توزیع Q استفاده شود، یاد می شود.
از منظر استنتاج بیزین، واگرایی KL توزیع Q نسبت به توزیع P ، یک معیار اندازه گیری برای اطلاعات کسب شده به هنگامی است که یک اصلاح باورها از توزیع پیشین احتمالی Q به توزیع پسین احتمالی P رخ دهد. یعنی مقداری از اطلاعات است که به واسطه تقریب زدن P در هنگامی که از Q برای آن استفاده می شود مورد نیاز است. برای توابع توزیع احتمال گسسته، مقدار DKL به صورت زیر قابل محاسبه است (رابطه 1).
[math]{D}_{KL}{(P}\parallel{Q)}=\sum\limits_{i}{P}_{i}{log}\frac{{P}_{i}}{{Q}_{i}}[/math]
در حالت توابع توزیع احتمال پیوسته هم خواهیم داشت (رابطه 2):
[math]{D}_{KL}{(P}\parallel{Q)}=\int\limits_{-\infty}^{+\infty}{P(x)}{log}\frac{{P(x)}}{{Q(x)}}{dx}[/math]
حال اجازه دهید تا با دو مثال برای توابع توزیع گسسته عملکرد معیار واگرایی KL روشن شود.
مثال 1) متغیر تصادفی X را در نظر بگیرید. این متغیر تصادفی می تواند چهار مقدار {1،2،3،4} را اختیار نماید. تابع توزیع Q(x) را یک تابع یکنواخت فرض میکنیم. تابع توزیع P(x) مطابق جدول (1) داده شده است. می خواهیم مقدار واگرایی KL این دو تابع توزیع را از همدیگر محاسبه کنیم.
| 4 | 3 | 2 | 1 | x |
| 1/4 | 1/4 | 1/4 | 1/4 | Q(x) |
| 1/12 | 1/3 | 1/3 | 1/4 | P(x) |
حال واگرایی این دو تابع توزیع را از همدیگر محاسبه می نماییم.
[math]{D}_{KL}{(P}\parallel{Q)}=\frac{1}{4}{log}\frac{\frac{1}{4}}{\frac{1}{4}}+\frac{1}{3}{log}\frac{\frac{1}{3}}{\frac{1}{4}}+\frac{1}{3}{log}\frac{\frac{1}{3}}{\frac{1}{4}}+\frac{1}{12}{log}\frac{\frac{1}{12}}{\frac{1}{4}}={0.0435}[/math]
یعنی در بازه بین صفر و یک، واگرایی توزیع P در جدول (1) نسبت به یک توزیع پیش فرض یکنواخت، 0.0435 می باشد.
حال یک تابع توزیع دیگر را در نظر بگیرید که به تابع توزیع یکنواخت نزدیکتر می باشد و در جدول (2) نشان داده شده است.
| 4 | 3 | 2 | 1 | x |
| 1/4 | 1/4 | 1/4 | 1/4 | Q(x) |
| 1/5 | 3/10 | 3/10 | 1/5 | P(x) |
مجددا مقدار واگرایی دو تابع توزیع را از همدیگر محاسبه می کنیم. خواهیم داشت:
[math]{D}_{KL}{(P}\parallel{Q)}=\frac{1}{5}{log}\frac{\frac{1}{5}}{\frac{1}{4}}+\frac{3}{10}{log}\frac{\frac{3}{10}}{\frac{1}{4}}+\frac{3}{10}{log}\frac{\frac{3}{10}}{\frac{1}{4}}+\frac{1}{5}{log}\frac{\frac{1}{5}}{\frac{1}{4}}={0.00874}[/math]
ملاحظه می گردد که مقدار واگرایی KL برای تابع توزیع جدول (2) از توزیع یکنواخت، به عدد صفر نزدیکتر می باشد تا تابع توزیع مربوط به جدول (1).
