Trovare l'entropia di un esperimento casuale con probabilità di $ frac {1} {3} $

Question

L'entropia è la casualità raccolta da un sistema operativo o applicazione per l'uso in crittografia o altri usi che richiedono dati casuali. La formula per l'entropia è $$ H (p_1, ..., p_k) =- sum_ {i = 1}^{k} p_i log_2 (p_i) [bit] $$

Quindi, se dovessi calcolare l'entropia di un lancio di monete. Sarebbe $$ H ( frac {1} {2}, frac {1} {2}) =-( log_2 ( frac {1} {2})+ frac {1} {2} log_2 ( frac {1} {2})) =-(0-1) = 1 bit $$

Ma perché c'è un $ frac {1} {2} $ prima del $ log $? Anche se stassi facendo un esperimento in cui la probabilità di un risultato è $ frac {1} {3} $ e ci sono risultati di $ 3 $, così sarebbe l'entropia

$$ h ( frac {1} {3}, frac {1} {3}, frac {1} {3}) = ( log_2 ( frac {1} {3})+ frac {1 } {3} log_2 ( frac {1} {3})+ frac {1} {3} log_2 ( frac {1} {3})) $$