In welchen Einheiten sollte Shannon -Entropie gemessen werden?

Question

Die einzigen Beispiele, die ich gesehen habe, verwenden Bits als Messung der Entropie, aber all diese Beispiele verwenden Binärcode -Alphabete. Wenn wir sehen wollten, wie gut eine Codierung mit einem Code -Alphabet der Länge n funktioniert, würden wir die Entropie in N -Einheiten von n messen?

Oder wäre es sinnvoll, mit Bits zu bleiben, wenn wir Codierungen mit Binär- und N-Länge-Code-Alphabeten vergleichen?

Answer 1

Im Allgemeinen wurde Bit von Shannon 1948 eingeführt. Verwenden von Bit anstelle einer anderen Informationsmesseinheit. Aufgrund der Bequemlichkeit kann alle Informationen durch ein Bit oder durch Bitssatz dargestellt werden.

Ich wette, Sie haben bereits auf das beliebteste Beispiel gestoßen, das Münzfeiern ist. Sie können den Kopf repräsentieren als 1 und Schwänze als 0. Sie können auch Stream of Bits als komplexere Informationen als Ganzzahl verwenden.

Einfaches Beispiel

In Betracht ziehen W Als Informationen zum aktuellen Wochentag können Sie 7 -Bit -Länge Stream als Darstellung der Woche verwenden. ZB Montag würde als 1000000 und Mittwoch als 0010000 dargestellt. So repräsentiert jedes Bit im Stream einen Tag.

Sie sollten Domain für Ihr Problem immer in Betracht ziehen und eine Bit -Codierung verwenden, die am besten passt. Die Verwendung von Codealphabet der Länge n zeigt die Universalität dieser bestimmten Codierung (wie wie ASCII oder Unicode).

Eine andere Sache ist, dass das Bit in niedrig angetriebenen (5 V) Schaltungen effizient dargestellt werden kann. Es gibt Interferenzerkennung und Fixierfunktionen für solche Schaltungen.

Betrachten Sie die Domain anders als das Bit, z. Reelle Zahlen sind dicht Selbst minimale Eingriffe haben Auswirkungen auf das Endergebnis.