実用的な方法を説明する"情報理論"

StackOverflow https://stackoverflow.com/questions/2306579

質問

情報理論が登場しっエンコード&デがあります。例えば:圧縮(multimedia),暗号通信を提案している。

情報理論のまとの出会いなどのような"エントロピー"、"情報"、"情報"および全体を対象に基づくすることができる。るだけで音がなります。率直に言えば、なんでくるものなのかということである。

が予約/材料/説明する説明していこう実践す。

編集：

紹介情報理論:シンボルの信号&ノイズによるジョン-ロビンソンピアス は 書籍 を説明するので、たい(実).そのも良いです。開始していますの読みます。

役に立ちましたか？

解決

Shanon独自の紙"数学的理論"は非常に重要な資源のための勉強この理論です。誰も見逃してはならないのです。

読んで参りますので、ご理解の程、何かShanonの理論を明確なものに疑念を持ちます。

また留学 働きのハフマンの圧縮アルゴリズム ます。

編集：

紹介情報理論

ジョンR.Pierce

いいようにアマゾンのレビ(いします。

【Googleing"情報理論の素人"]

他のヒント

「情報理論」に関する私自身の見解では、それは、本質的にちょうど応用数学/統計だが、それはそれは、「情報理論」と呼ばれていた通信/信号に適用されているためということです。

概念を理解開始するための最良の方法は、自分自身の本当のタスクを設定することです。たとえば、テキストファイルとして保存し、お気に入りのブログの数ページを取り、その後、あなたはまだ完全に（すなわち、ロスレス圧縮）ファイルを再構築することができます確保しながら、ファイルのサイズを小さくしようと言います。あなたが例えば1のとですべてのインスタンスを置き換える例えば始めましょう....

I行うことで常に意見学習のよ最善のアプローチとなります。

思ってお奨めするFeynmanのためのポップアップ-sciの目的が反映だと思うが良い選択のための緩和に深刻な研究をしています。したりすることはできませんからもずに算引き算など余計な計算は、Feynmanで刺激的なことを言sneaks算引き算など余計な計算は入なしを怖が、馬などがあります。

Feynmanの講義を計算http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

カバーにより地上だけでは情報理論が良いも楽しめます。(また、私の義務を引きのためのチーム物理学 Rah!Rah!核!)

思い出の記事と思い、パーソナルコンピューターの世界"に示されたバージョンのID3をコインで使ってヒューリスティックの代替サーバー機能の利用を選択式です。と思いを最小限に抑え金額の正方形ではなく最大化を目的エントロピーができた。また別の記事がっていました。)バイトを使ったログの公式情報（エントロピー）を同様の物です。というような私にとって扱うことの理論にも対応しやすくなります。

編集 -"でないエントロピー"を意味しいと思うで加重平均した情報の値が使用されていなかったの名を"エントロピー".

と思うの建設に簡単な意思決定木から決定のテーブルは非常に良い方との関係を理解する確率や情報です。このリンクから確率情報をより直感的にし、またその加重平均を示してエントロピーを最大限効果のバランス確率.非常に良い日は一種類のレッスンです。

というのも嬉しいです後置き換える決定木とハフマン復号ツリー（ は, 以前"するトークンのam I復号?"の決定木の更なる成長を図っていくためにリンクする符号といいます。

ちなみ-かこのリンク...

マッカイで無料ダウンロード教科書（印刷中）がまだ読み取り、すべての部品だったので夜遅くに到着しても良いです。についての説明を説明するか"ベイズ、293ページ、特に棒です。

CiteSeerXは非常に有用な資源情報理論研究論文（その他のもの).二つの興味深い論文が---

もCN2うな日。

情報理論は、例えば上で非常に効率的なアプリケーションを持っています機械学習とデータマイニング。特定のデータの視覚化、変数選択、データ変換及び突起に、情報理論的基準は、最も人気のあるアプローチの一つです。

などを参照してください。

http://citeseerx.ist。 psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdfする または http://www.mdpi.com/1424-8220/11/6/5695 の

情報理論は、私たちは、例えば、正式な方法で最適なデータ圧縮に近づくことができます事後分布とマルコフ毛布の観点ます：

http://www.mdpi.com/1099-4300/13/ 1403分の7 の

これは、変数選択に誤りの確率に上限と下限を取得するために私たちをことができます：

http://www.mdpi.com/1099-4300/12/ 2144分の10 の

統計に比べて情報理論を使用する利点の1つは1つが、必ずしも確率分布を設定する必要がないということです。一つは、すべての確率分布を推定しようとせずに情報、冗長性、エントロピー、移動エントロピーを計算することができます。情報の損失のない変数の削除は、一つの計算確率密度を必要とせずに...同様の処方を見つけることができる情報理論を使用して、条件付き事後確率の保全の観点から定義されます。 Caculationsは、変数間の相互情報の面でかなりあり、文学は、効率的な推定及びこれらのための低次元近似の多くを提供してきました。見る： http://citeseerx.ist.psu.edu /viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdfする http://www.mdpi.com/1424-8220/11/6/5695 の

私はグリン・ウィンスケルにすることで、この本をお勧めでき。これは、情報理論のコースのための私の大学で使用されました。 これは、IMPと呼ばれる簡単な命令型言語を定義し、それは言語で正式な意味論について多くの概念を次の、論理理論から始まります。

プログラミング言語の形式意味論を

http://mitpress.mit.edu/books/formal-semantics-プログラミング言語の

けれども、概念は抽象的かもしれないが、彼らは機械学習/人工知能で最近では良いの使用を見出します。これは、これらの理論的概念のための実用的な必要性の良いモチベーションとなる恐れがあります。要約すると、あなたは、機能近似（LSTM、RNNやCNNや線形回帰）が真の分布をモデリングでよくない方法も推定したい - これは、例えば、CNNでのクロスエントロピーを最小限に抑えるか、歪み関数を最小化する、相互情報または相対エントロピーであります/線形回帰での距離..

また、あなたは、チャネル容量とプロパティのいくつかの理論的な分析なしに有用コミュまたはネットワークシステムを構築しません。

本質的には、それは理論的に見えるかもしれませんが、それは現在の通信時代の心臓部である。

は、私が何を意味するかについて、より精巧なビューを取得するために、私はこのISITの講義を見るためにあなたを招待：<のhref =「https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s」のrel =教授デビッド東証による "nofollowをnoreferrer"> https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s の

ライセンス： CC-BY-SA と 帰属
所属していません StackOverflow
scroll top