Quali unità dovrebbe Shannon entropia essere misurata in?

Question

Gli unici esempi che ho visto utilizzare punte come una misura di entropia, ma tutti questi esempi capita di usare alfabeti codice binario. Se volessimo vedere quanto bene una codifica con un alfabeto di codice di lunghezza n lavori, dovremmo misurare l'entropia in quote di n?

O avrebbe senso per rimanere con i bit se siamo confrontando codifiche con alfabeti codice binario e n-length?

Answer 1

Generalmente bit è stato introdotto da Shannon nel 1948. Usando bit invece di qualsiasi altra unità di misura informazioni è per convenienza qualsiasi informazione può essere rappresentata da singolo bit o gruppo di bit.

Scommetto che è già stato eseguito nella maggior esempio popolare che è moneta lancio. È possibile rappresentare testa come 1 e coda come 0 . È inoltre possibile utilizzare flusso di bit come rappresentazione delle informazioni più complesse come intero.

Esempio semplice

Si consideri W come informazioni sulla corrente giorno della settimana è possibile utilizzare 7bit flusso lunghezza come rappresentazione della settimana. Ad esempio Lunedi sarebbe rappresentato come 1000000 e 0010000. Mercoledì, come Quindi, ogni bit nel flusso rappresenta un giorno.

Si deve sempre considerare di dominio per il vostro problema e l'uso po 'di codifica che si adatta meglio. Usando il codice alfabeto di lunghezza n spettacoli universalità di quel particolare codifica (come ASCII o Unicode ).

Un'altra cosa è che bit può essere rappresentato in modo efficiente circuiti a bassa potenza (5V). Esiste rilevamento delle interferenze e le funzioni di fissaggio per tali circuiti.

Consideriamo dominio diverso, allora po ', ad esempio, i numeri reali, e far loro rappresentano le informazioni utilizzando una qualche relazione R. Ora, a causa numeri reali sono densi anche la minima interferenza avrà impatto sul risultato finale.