Bedingte gegenseitigen Information

In der Wahrscheinlichkeitstheorie, insbesondere, Informationstheorie, die bedingte gegenseitige Information ist, in seiner einfachsten Form, der erwartete Wert der gegenseitigen Information zweier Zufallsvariablen gegeben den Wert einer dritten.

Definition

Für diskrete Zufallsvariablen und wir definieren

wo die Rand, Gelenk- und / oder bedingte Wahrscheinlichkeitsmasse Funktionen werden durch mit dem entsprechenden Index bezeichnet. Dies kann vereinfacht werden als

Alternativ können wir schreiben

Dies kann umgeschrieben werden, um ihre Beziehung zur gegenseitigen Information zeigen

in der Regel als der Kettenregel für die gegenseitige Information neu geordnet

Einer anderen Form der oben genannten ist

Anlage auf einem dritten Zufallsvariable kann entweder erhöhen oder verringern die gegenseitige Information: das heißt, die Differenz, die so genannte Interaktionsinformationen kann positiv, negativ oder Null sein, aber es ist immer wahr, dass

für diskrete gemeinsam verteilte Zufallsvariablen X, Y, Z. Dieses Ergebnis wurde als Grundbaustein für den Nachweis der anderen Ungleichheiten in der Informationstheorie, insbesondere diejenigen, die als Shannon artigen Ungleichheiten bekannt verwendet.

Wie gegenseitigen Information, können bedingte gegenseitige Information als Kullback-Leibler-Divergenz ausgedrückt werden:

Oder als Erwartungswert der einfacheren Kullback-Leibler Abweichungen:

Weitere allgemeine Definition

Eine allgemeinere Definition der bedingten gegenseitigen Information, die für Zufallsvariablen mit kontinuierlicher oder andere willkürliche Verteilungen, wird auf das Konzept der regelmäßigen bedingte Wahrscheinlichkeit abhängen.

Sei ein Wahrscheinlichkeitsraum und lassen Sie die Zufallsvariablen X, Y und Z jeweils wie ein Borel-meßbare Funktion von bis zu einem gewissen Zustandsraum mit einer topologischen Struktur dotiert definiert werden.

Betrachten Sie die Borel-Maß im Zustandsraum der einzelnen Zufallsvariable durch Zuweisung jeder Borel setzen Sie die -Maßnahme seiner Urbild in definiert. Dies nennt man die Bildmaß der Unterstützung einer Zufallsvariable definiert ist, um die topologische Unterstützung dieser Maßnahme, dh

Jetzt können wir formal definieren die bedingte Wahrscheinlichkeit Maßnahme angesichts der Wert von einer der Zufallsvariablen. Sei eine messbare Teilmenge und lassen Sie dann mit dem Zerfall Satz:

wo die Grenze ist über die offene Umgebungen genommen, so dürfen sie in Bezug auf die Aufnahme eingestellt beliebig kleiner zu werden.

Endlich können wir die bedingte gegenseitige Information über Lebesgue Integration zu definieren:

wo der Integrand die Logarithmus einer Radon-Nikodym Derivat mit einigen der bedingten Wahrscheinlichkeit Maßnahmen, die wir gerade definiert haben.

Hinweis zur Notation

In einem Ausdruck wie und müssen nicht unbedingt auf die einzelne Zufallsvariablen beschränkt werden, sondern könnte auch die die gemeinsame Verteilung jeder Sammlung von Zufallsvariablen auf dem gleichen Wahrscheinlichkeitsraum definiert. Wie üblich in der Wahrscheinlichkeitstheorie, können wir das Komma verwenden, um so eine gemeinsame Verteilung zu bezeichnen, zB Daher ist die Verwendung des Semikolons, um die Hauptargumente des gegenseitigen Informationssymbol zu trennen.

Multivariate gegenseitigen Information

Die bedingte gegenseitige Information kann verwendet werden, um induktiv definieren eine multivariate gegenseitigen Information in einer Einstellung oder maßtheoretischen Sinn im Kontext der Informationsdiagramme werden. In diesem Sinne definieren wir die multivariate gegenseitigen Information wie folgt:

woher

Diese Definition ist identisch mit der von Interaktionsinformationen bis auf einen Vorzeichenwechsel im Falle einer ungeraden Anzahl von Zufallsvariablen. Eine Komplikation ist, dass diese multivariate gegenseitigen Information kann positiv, negativ zu sein, oder Null, die diese Menge schwieriger macht intuitiv interpretieren. In der Tat, für n Zufallsvariablen bestehen Freiheitsgraden, wie sie sich in einem informationstheoretischen Sinne korreliert werden, entsprechend jeder nicht-leere Teilmenge dieser Variablen. Diese Freiheitsgrade werden von verschiedenen Shannon-und Nicht-Shannon-Typ-Ungleichheit in der Informationstheorie begrenzt.

(0)
(0)
Kommentare - 0
Keine Kommentare

Fügen Sie einen Kommentar

smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile smile smile smile smile
smile smile smile smile
Zeichen übrig: 3000
captcha