Shannon-Entropie zur Min-Entropie

Question

In vielen Papieren habe ich gelesen, dass es bekannt ist, dass die Shannon-Entropie einer zufälligen Variablen durch unabhängige Kopien der Variablen in Min-Entropie (bis zu kleiner statistischer Entfernung) umgewandelt werden kann. Kann mir jemand erklären, was genau das bedeutet?

Answer 1

Dies ist eine Folge der Asymptotische Equipartitionseigenschaft (AEP), was eine Form des Gesetzes großer Anzahl ist. Die AEP gibt an, dass, wenn eine zufällige Variable (binäre) Entropie $ H $ hat und Sie $ n $ Kopien davon aufnehmen, die meisten Datenpunkte eine Wahrscheinlichkeit haben, dass etwa 2 $ 2^{-Nh} $ sind. Dies gilt nur für die meisten Datenpunkte, was die Quelle der kleinen statistischen Distanz ist, die Sie erwähnen.

Betrachten Sie beispielsweise eine $ p $ -Bias-Münze. Wenn Sie $ n $ Münzen mit Bias $ P $ werfen, erhalten Sie höchstwahrscheinlich ungefähr $ pn $ köpfe ) n} = 2^{-nh (p)}. $$