Uma boa introdução à teoria da informação, por favor? [fechado

Question

Eu sei sobre Wikipedia e Mackay's Teoria da informação, inferência e algoritmos de aprendizado (É apropriado como livro didático?). Um livro que começa com a entropia de Shannon e passando por entropia condicional e informações mútuas é procurada ... alguma idéia? Se você está seguindo esse curso em sua universidade, qual livro é usado?

Obrigado.

Answer 1

Eu usei o seguinte livro durante meus estudos em CS em Epfl. IMO, está bem escrito, com boas explicações, e cobre mais do que suficiente para uma introdução ao domínio.

Elementos da teoria da informação

EDIT: Para uma leitura adicional, aqui estão algumas outras leituras que meu professor recomendou. Eu não os li (vergonha para mim), então não posso dizer se eles são bons ou não.

1. RG Gallager, Teoria da informação e comunicação confiável, Wiley, 1968.
2. D. Mackay, Teoria da informação, algoritmos de inferência e aprendizado, Cambridge University Press, 2008. (Você já mencionou)
3. I. Csiszar e J. Korner, Teoria da informação: teoremas de codificação para sistemas discretos sem memória, Akademiai Kiado, 1997.
4. CE Shannon, A teoria matemática da comunicação