Wie Informationen Entropie in einer zweistufigen Entscheidung berechnen?

Question

Ich habe eine Frage, die ich denke, geht es um „bedingte Entropie“ auf dem Gebiet der Informationstheorie. Ich versuche, meinen Kopf um es zu wickeln, könnte aber etwas Hilfe gebrauchen. Betrachten wir ein Beispiel, in dem wir vier Häuser haben. Im ersten Hause gibt es acht Personen, vier Personen im zweiten Hause leben, und es gibt zwei Leute in drittem Hause, und zwei Personen im vierten Hause. Also, vier Häuser und sechzehn Personen. Wenn ich einfach einer dieser Menschen zufällig wählen, dann wird diese Wahl ist eine Auswahl unter sechzehn Menschen, eine Informations Entropie von 4 Bits für diese Wahl ergibt.

Aber betrachtet nun eine zweistufigen Auswahl, in dem ich zuerst ein Haus nach dem Zufallsprinzip wählen, und dann wählte ich einer der Menschen in dem gewählten Hause. So ist der erste Schritt, dass ein Haus aus den vier Häusern der Kommissionierung zur Verfügung, erzeugt zwei Bits an Informationen Entropie. Aber jetzt, in dem 25% der Zeit, dass ich das erste Haus holen, fügt der zweite Schritt drei weitere Bits in der Wahl einer Person aus den acht Personen im ersten Hause. In einem weiteren 25% der Fälle, ich brauche nur noch zwei Bits eine Person von den vier auszuwählen, die in dem zweiten Hause leben. Und schließlich in vollem Umfang der Hälfte der Fälle, brauche ich nur ein einziges Bit einer Person von dem Paar, dass Leben in holen entweder den dritten oder vierten Hause.

Irgendwie scheint es mir, dass der gewichtete Durchschnitt der Bit-Zählungen für den zweistufigen Ansatz soll die gleichen Vier-Bit-Gesamt erzeugen, dass das einstufige Verfahren erfordert. Aber ich kann nicht die Zahlen bekommen zu addieren, so klar ist mehr auf die Mathematik als Ich erwäge. Ich habe erwartet, dass Sie sollten einfach in der Lage sein, die Wahrscheinlichkeiten zu addieren etwa so:

(picking a house) + (picking a person in that house) ==

log(4) + [(1/4)*log(8) + (1/4)*log(4) + (1/4)*log(2) + (1/4)*log(2)]

Aber das erzeugt ein Ergebnis von 3,75 Bits und nicht die 4 Bits, die ich erwarte. Hier ist ein bisschen Python, dass ich verwendet, um dies zu bewerten.

from math import log
def log2(x):
    return log(x,2)
x = log2(4) + ((1.0/4)*log2(8) + (1.0/4)*log2(4) + (1.0/4)*log2(2) + (1.0/4)*log2(2))
print x

So, fehlt etwas von meinen Figuren. Kann jemand Punkt mich in die richtige Richtung?

Answer 1

Wenn Sie ein Haus nach dem Zufallsprinzip wählen (mit einheitlicher Wahrscheinlichkeit, UP kurz), dann wählen Sie eine resident zufällig (UP), du bist nicht die Wahl eines von 16 UP - Sie haben eine etwas schiefe Verteilung, die unsurprisingly Ausbeuten Entropie niedriger (UP Entropie maximiert). Acht Menschen mit einer Wahrscheinlichkeit von 1/32 jeden ausgewählten werden, vier werden jeweils mit einer Wahrscheinlichkeit von 1/16 ausgewählt, und die anderen vier mit einer Wahrscheinlichkeit von 1/8 jeweils. Diese Verteilung eine Entropie von 3,75 Bits hat, so wie Sie mit Ihrem anderen Ansatz berechnet.