Informacja wzajemna
Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.
Intuicyjnie informacja wzajemna mierzy, ile informacji o X można poznać, znając Y, czyli o ile poznanie jednej z tych zmiennych zmniejsza niepewność o drugiej. Jeśli zmienne X i Y są niezależne, to ich wzajemna informacja jest zerowa (znajomość jednej nie mówi niczego o drugiej). Jeśli X i Y są identyczne, to każda zawiera pełną wiedzę o drugiej. Wtedy informacja wzajemna jest równa entropii X (albo Y – skoro są identyczne, to ich entropia jest taka sama).
Definicja
Formalnie informacja wzajemna między dwiema dyskretnymi zmiennymi losowymi X i Y może być zdefiniowana jako:
gdzie p(x,y) oznacza wspólny rozkład prawdopodobieństwa (ang. joint probability distribution) X i Y, a p(x) i p(y) oznaczają prawdopodobieństwa w rozkładach zmiennych X i Y.
W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:
gdzie p(x,y) oznacza funkcję gęstości prawdopodobieństwa dwóch zmiennych, a p(x) i p(y) są gęstościami prawdopodobieństwa X i Y.
Informacja wzajemna jest zerowa wtedy i tylko wtedy, gdy zmienne X i Y są niezależne. Łatwo zauważyć implikację w jedną stronę: jeśli są niezależne, to a więc:
Powiązania z innymi funkcjami
Informację wzajemną można zdefiniować równoznacznie jako:
gdzie H(X) i H(Y) oznaczają entropie, H(X|Y) i H(Y|X) oznaczają entropie warunkowe, a H(X,Y) entropię produktową.
Warto zauważyć, że a więc Podobnie jeśli Y jest funkcją X, to znajomość X determinuje wartość Y, i wtedy
Zastosowanie informacji wzajemnej
W wielu zastosowaniach ważne jest maksymalizowanie informacji wzajemnej, co często oznacza minimalizowanie entropii warunkowej. Przykłady:
- przepustowość kanału komunikacyjnego, która jest maksymalną możliwą do uzyskania wzajemną informacją pomiędzy wejściem a wyjściem z kanału
- w kryptologii teoretycznej i kwantowej przy ocenie bezpieczeństwa bezwarunkowego systemów szyfrowania
- w uczeniu maszynowym przez zastosowanie ukrytych modeli Markowa (HMM)
- porównywanie modeli językowych w lingwistyce komputerowej
- rekonstrukcja obrazu w tomografii komputerowej dla zastosowań medycznych
- nakładanie obrazów (ang. image registration).