modo pratico di spiegare “Teoria dell'Informazione”

StackOverflow https://stackoverflow.com/questions/2306579

Domanda

La teoria dell'informazione entra in gioco in cui è presente sempre la codifica e la decodifica. Per esempio:. Compressione (multimedia), la crittografia

In Teoria incontriamo termini come "Entropy", "Informazione Sé", "informazione reciproca" e intero soggetto si basa su questi termini. Che niente di più che astratto solo suono. Francamente, in realtà non hanno alcun senso.

C'è un libro / materiale / spiegazione (se è possibile) che spiega queste cose in un modo pratico?

Modifica

  

Introduzione alla Teoria dell'Informazione: simboli, segnali e rumore da John Robinson Pierce è The Book che spiega il modo in cui voglio (praticamente). La sua troppo buono. Ho iniziato a leggerlo.

È stato utile?

Soluzione

il lavoro originale di Shanon " Una teoria matematica della comunicazione " è una risorsa molto importante per lo studio di questa teoria. Nessuno nessuno dovrebbe perdere.

Per leggerlo si capisce come Shanon arrivato alla teoria che dovrebbe eliminare la maggior parte dei dubbi.

studiando anche funzionamento della algoritmo di compressione Huffman sarà molto utile.

Modifica

  

Introduzione alla Teoria

     

John R. Pierce

sembra buono secondo le recensioni di Amazon (non ho provato).

[da googleing "teoria dell'informazione laico"]

Altri suggerimenti

Il mio punto di vista sulla "Teoria dell'informazione" è che è essenzialmente solo applicato la matematica / statistica, ma perché è applicata alle comunicazioni / segnali è stato chiamato "Teoria dell'Informazione".

Il modo migliore per iniziare la comprensione dei concetti è quello di impostare voi stessi un vero compito. Diciamo per esempio, prendere un paio di pagine del tuo blog preferito salvarlo come file di testo e quindi tentare di ridurre le dimensioni del file garantendo al tempo stesso è ancora possibile ricostruire il file completamente (cioè compressione senza perdita). Inizierai ad esempio sostituendo tutte le istanze di e con un 1 per esempio ....

Sono sempre del parere learning by doing sarà l'approccio migliore

stavo per raccomandare Feynman per scopi pop-sci, ma riflettendoci penso che potrebbe essere una buona scelta per facilitare in uno studio serio pure. Non si può davvero sapere queste cose senza ottenere la matematica, ma Feynman è così suggestivo che si insinua la matematica in senza spaventare i cavalli.

Feynman Lectures on Computation http://ecx.images-amazon.com/images /I/51BKJV58A9L._SL500_AA240_.jpg

Copertine un po 'più terra di una semplice teoria dell'informazione, ma roba buona e piacevole da leggere. (Inoltre, io sono obbligato a tirare per il Team Fisica. Rah! Rah! Rhee! )

Mi ricordo di articoli in, credo, Personal Computer World che hanno presentato una versione di ID3 per le monete che identificano, anche se ha usato un euristica alternativa alla formula di registro. Penso che sia ridotto al minimo la somma dei quadrati piuttosto che a massimizzare l'entropia - ma è stato molto tempo fa. C'era un altro articolo (credo) Byte che ha usato la formula di registro per le informazioni (non entropia) per cose simili. Cose del genere mi ha dato una maniglia che ha reso la teoria più facile da affrontare.

Modifica -. Da "non entropia" Voglio dire Penso che sia usato medie ponderate dei valori di informazioni, ma non ho usato il nome di "entropia"

Credo che la costruzione di alberi di decisione semplice da tabelle di decisione è un ottimo modo per capire il rapporto tra probabilità e le informazioni. Rende il collegamento tra probabilità di informazioni più intuitivo, e fornisce esempi della media ponderata per illustrare l'effetto entropia massimizzazione delle probabilità equilibrate. Una giornata molto buona, un tipo di lezione.

E ciò che è anche bello è che si può sostituire l'albero decisionale con un albero di decodifica di Huffman (che è , dopo tutto, un "che Token sto decodifica?" Albero di decisione) e fare quel collegamento alla codifica.

A proposito - dare un'occhiata a questo link ...

Mackay ha un libro di testo scaricabile gratuitamente (e disponibile in stampa), e mentre io non l'ho letto tutto, le parti che ho letto sembrava molto buona. La spiegazione di "spiegare via" in Bayes, a partire da pagina 293, in particolare, resta nella mente.

CiteSeerX è una risorsa molto utile per i documenti di teoria dell'informazione (tra le altre cose) .Due carte interessanti sono ...

Anche se CN2 probabilmente non è il giorno un materiale.

La teoria dell'informazione ha applicazioni molto efficienti per esempio machine learning e data mining. in particolare visualizzazione dei dati, selezione delle variabili, trasformazione dei dati e proiezioni, informazione criteri teorici sono tra gli approcci più popolari.

Vedi esempio

http://citeseerx.ist. psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf o http://www.mdpi.com/1424-8220/11/6/5695

La teoria dell'informazione ci permette di avvicinarci compattazione dei dati ottimale in modo formale per esempio in termini di distribuzioni posteriori e Markov coperte:

http://www.mdpi.com/1099-4300/13/ 7/1403

Ci permette di recuperare limiti superiori e inferiori sulla probabilità di errore nella selezione delle variabili:

http://www.mdpi.com/1099-4300/12/ 10/2144

Uno dei vantaggi di utilizzare la teoria dell'informazione rispetto alle statistiche è che uno non deve necessariamente impostare distribuzioni di probabilità. Si può calcolare informazioni, la ridondanza, l'entropia, entropia trasferire senza cercare di stimare le distribuzioni di probabilità a tutti. eliminazione variabile senza perdita di informazioni è definito in termini di conservazione della probabilità a posteriori condizionali, utilizzando la teoria dell'informazione si possono trovare formulazioni simili ... senza la necessità di calcolare densità di probabilità. Caculations sono piuttosto in termini di informazione reciproca tra le variabili e la letteratura ha fornito un sacco di stimatori efficienti e inferiori approssimazioni dimensionali per questi. Vedere: http://citeseerx.ist.psu.edu /viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

ho potuto suggerire questo libro di Glynn Winskel . E 'stato utilizzato nella mia università per il corso di Teoria dell'Informazione. Si parte da teoria della logica quindi definisce un linguaggio imperativo semplice, chiamato IMP, e segue con molti concetti circa semantica formale in lingua.

I formali Semantica dei Linguaggi di programmazione

http://mitpress.mit.edu/books/formal-semantics- programmazione-lingue

Anche se, i concetti possono essere astratto, ma trovare un buon uso in tempi recenti per l'apprendimento macchina / Intelligenza artificiale. Questo potrebbe servire come una buona motivazione sulla necessità pratica di questi concetti teorici. In sintesi, si vuole stimare quanto bene il vostro approssimatore funzionale (LSTM, RNN o CNN o di regressione lineare) fa bene nella modellazione vera distribuzione - si tratta di informazioni reciproco o entropia relativa, ad esempio, ridurre al minimo l'entropia croce CNN o ridurre al minimo la distorsione funzione / distanza in regressione lineare ..

Inoltre, non si costruirà una comunicazione utile o sistema di rete senza alcune analisi teorica della capacità del canale e le proprietà.

In sostanza, si potrebbe apparire teorica, ma è al centro della nostra epoca di comunicazione.

Per avere una visione più elaborata su quello che voglio dire, vi invito a guardare questo ISIT lezione: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s dal Prof David Tse

Autorizzato sotto: CC-BY-SA insieme a attribuzione
Non affiliato a StackOverflow
scroll top