Praktischerweise zu erklären, „Informationstheorie“

StackOverflow https://stackoverflow.com/questions/2306579

Frage

Die Informationstheorie ins Spiel kommt, wo immer kodieren und Dekodieren vorhanden ist. Zum Beispiel: Kompression (Multimedia), Kryptographie

.

Informationstheorie, die uns begegnen wird Begriffe wie „Entropy“, „Self Information“, „Mutual Information“ und die gesamte Thema zu diesen Bedingungen basieren. Was nur Sound nichts mehr als abstrakt. Ehrlich gesagt, sie nicht wirklich keinen Sinn.

Gibt es ein Buch / Material / Erklärung (wenn Sie können), die diese Dinge in einer praktischen Art und Weise erklärt?

EDIT:

  

Eine Einführung in die Informationstheorie: Symbole, Signale und Rauschen von John Robinson Pierce ist Das Buch , dass es so, wie ich will (praktisch) erklärt. Es ist zu gut. Ich begann es zu lesen.

War es hilfreich?

Lösung

Shanon Original-Papier „ Eine mathematische Theorie der Kommunikation “ist eine sehr, sehr wichtige Ressource diese Theorie für das Studium. Niemand Niemand sollte es nicht verpassen.

Mit dem Lesen Sie werden verstehen, wie Shanon an der Theorie kam die meisten der Zweifel klären sollte.

Auch das Studium Funktionsweise des Huffman-Kompressionsalgorithmus wird sehr hilfreich sein.

EDIT:

  

Eine Einführung in die Informationstheorie

     

John R. Pierce

scheint gut nach den amazon Bewertungen (ich habe es nicht ausprobiert).

[von googleing "Informationstheorie Laien"]

Andere Tipps

Meine eigene Sicht auf „Information Theory“ ist, dass es im Wesentlichen Mathematik / Statistik nur angewandt, sondern weil es um die Kommunikation / Signale angewandt wird ist es „Informationstheorie“ genannt worden.

Der beste Weg, um die Konzepte beginnen zu verstehen, ist es, sich eine echte Aufgabe einzustellen. Nehmen wir zum Beispiel ein paar Seiten Ihrer Lieblings-Blog übernehmen, speichern Sie es als Textdatei und dann versuchen, die Größe der Datei zu reduzieren und gleichzeitig sicherstellen Sie noch die Datei vollständig rekonstruieren kann (das heißt verlustfreie Komprimierung). Sie werden zum Beispiel beginnen alle Instanzen und mit einem 1 zum Beispiel zu ersetzen ....

Ich bin immer der Meinung, Learning by Doing wird der beste Ansatz sein

Ich wollte Feynman für Pop-sci Zwecke empfehlen, aber auf Reflexion ich denke, es könnte eine gute Wahl sein für so gut in eine ernsthafte Untersuchung zu erleichtern. Man kann nicht wirklich das Zeug wissen, ohne die Mathematik zu bekommen, aber Feynman ist so stimmungsvolle, dass er die Mathematik schleicht sich in ohne die Pferde zu erschrecken.

Feynman Lectures on Computation http://ecx.images-amazon.com/images /I/51BKJV58A9L._SL500_AA240_.jpg

Covers eher geschliffen mehr als nur Informationstheorie, aber gute Sachen und angenehm zu lesen. (Außerdem ist mir das Team Physik zu ziehen verpflichtet. Rah! Rah! Rhee! )

Ich erinnere mich Artikel in, glaube ich, Personal Computer World, die eine Version von ID3 zur Identifizierung von Münzen dargestellt, obwohl es eine heuristische Alternative zur Protokoll Formel verwendet. Ich denke, es minimiert Quadratsummen statt Entropie maximiert - aber es war vor langer Zeit. Es war ein weiterer Artikel in (glaube ich) Byte, die das Protokoll Formel zur Information (nicht Entropie) für ähnliche Dinge. Dinge wie das gab mir einen Griff, der die Theorie leichter zu bewältigen hat.

Bearbeiten . - durch „nicht Entropie“ Ich meine, ich denke, es gewichtete Mittelwerte von Informationswerten verwendet, aber haben nicht mit dem Namen „Entropie“

Ich denke, Bau von einfachen Entscheidungsbäumen von Entscheidungstabellen ist ein sehr guter Weg, um die Beziehung zwischen Wahrscheinlichkeit und Informationen zu verstehen. Es macht die Verbindung von Wahrscheinlichkeit auf Informationen intuitiver, und es gibt Beispiele für den gewichteten Durchschnitt der Entropie maximierende Wirkung ausgeglichen Wahrscheinlichkeiten zu illustrieren. Ein sehr guter Tag eine Art Lektion.

Und was auch schön ist, ist man dann, dass der Entscheidungsbaum mit einem Huffman-Decodierung Baum ersetzen kann (die ist , immerhin ein „das Token am Decodierung ich?“ Entscheidungsbaum), und dass Link machen zur Codierung.

BTW - werfen Sie einen Blick auf diesen Link ...

hat Mackay ein kostenloses Download-Lehrbuch (und in gedruckter Form erhältlich), und während ich nicht gelesen habe es alle, die Teile, die ich gelesen zu haben schienen sehr gut. Die Erklärung "wegzuerklären" in Bayes, ab Seite 293, insbesondere Sticks im Auge behalten.

ist CiteSeerX eine sehr nützliche Ressource für die Informationstheorie Papiere (unter anderem) .Zwei interessante Papiere sind ...

Obwohl CN2 ist wahrscheinlich nicht Tag ein Material.

Die Informationstheorie hat eine sehr effiziente Anwendungen in z.B. maschinelles Lernen und Data Mining. insbesondere die Datenvisualisierung, Variablenauswahl, Datentransformation und Projektionen sind informationstheoretischen Kriterien gehören zu den beliebtesten Ansätze.

Siehe z.B.

http://citeseerx.ist. psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf oder http://www.mdpi.com/1424-8220/11/6/5695

Die Informationstheorie ermöglicht es uns, in einer formalen Art und Weise eine optimale Datenverdichtung zu nähern z.B. in Bezug auf den posteriori-Verteilungen und Markov Decken:

http://www.mdpi.com/1099-4300/13/ 7/1403

Es erlaubt uns, oberes abrufen und Schranken für die Fehlerwahrscheinlichkeit in variable Auswahl senken:

http://www.mdpi.com/1099-4300/12/ 10/2144

Einer der Vorteile der Informationstheorie mit den Statistiken im Vergleich ist, dass man nicht unbedingt braucht Wahrscheinlichkeitsverteilungen einzurichten. Man kann berechnen, Informationen, Redundanz, Entropie, Transfer Entropie ohne zu versuchen, Wahrscheinlichkeitsverteilungen überhaupt zu schätzen. Variable Elimination ohne Informationsverlust ist im Hinblick auf die Erhaltung der bedingende Wahrscheinlichkeiten definiert, Informationstheorie eine Verwendung und ähnliche Formulierungen finden ... ohne die Notwendigkeit zu berechnen Wahrscheinlichkeitsdichten. Caculations sind eher in Bezug auf die gegenseitige Information zwischen den Variablen und der litterature hat viel effizienter Schätzer und niedrigerdimensionalen Annäherungen für diese zur Verfügung gestellt. Sehen: http://citeseerx.ist.psu.edu /viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Ich könnte dieses Buch vorschlagen von Glynn Winskel . Es war in meiner Universität für die Informationstheorie Kurs verwendet. Er geht von Logic Theorie dann eine einfache imperative Sprache definiert, die so genannte IMP, und es folgt mit vielen Konzepten über formale Semantik in der Sprache.

Die formale Semantik von Programmiersprachen

http://mitpress.mit.edu/books/formal-semantics- Programmiersprachen

Obwohl, können die Konzepte abstrakt sein, aber sie finden gute Verwendung in der letzten Zeit in Maschinelles Lernen / Intelligenz Artificial. Dies könnte als eine gute Motivation auf praktische Notwendigkeit für dieses theoretische Konzept dienen. Zusammenfassend mögen Sie, wie gut Ihren funktionellen approximator schätzen (LSTM, RNN oder CNN oder lineare Regression) tut gut in wahre Verteilung der Modellierung - diese gegenseitige Information oder relative Entropie ist zum Beispiel minimiert Kreuzentropie in cnn oder Verzerrungsfunktion minimieren / Abstand in der linearen Regression ..

Darüber hinaus werden Sie nicht ein brauchbares Komunikation oder vernetztes System ohne eine theoretische Analyse der Kanalkapazität und Eigenschaften bauen.

Im Grunde könnte es theoretisch aussehen, aber es ist im Herzen der vorliegenden Kommunikationszeitalter.

Um eine ausführlichere Ansicht zu bekommen, was ich meine, ich lade Sie ein, diesen ISIT Vortrag zu sehen: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s von Prof. David TSe

Lizenziert unter: CC-BY-SA mit Zuschreibung
Nicht verbunden mit StackOverflow
scroll top