歴史的背景

情報の概念への関心は、電信電話の作成から直接成長しました。 1844年、アメリカの発明家サミュエル・F・B・モースがワシントンD.C.とメリーランド州ボルチモアの間に電信線を建設した。 モールスは埋設された送電線を介して信号を送信するときに多くの電気的問題に遭遇したが、不可解にも、線が極に吊り下げられたときには問題が少なくなった。 これは多くの著名な物理学者、特にスコットランド人のウィリアム-トムソン（ケルビン男爵）の注目を集めた。 同様の方法で、1875年にアレクサンダー-グラハム-ベルによって電話が発明され、その後の普及により、アンリ-ポアンカレ、オリバー-ヘヴィサイド、マイケル-プパンなどの科学者が電線を介して信号を送信することに関連する問題に引き寄せられた。 彼らの仕事の多くは、この記事で後述する手法であるフーリエ解析を使用して行われましたが、これらのすべての場合において、解析は通信システムの実情報理論の正式な研究は、ベル研究所の研究者であるハリー-ナイキストが”電信速度に影響を与える特定の要因”と題する論文を発表した1924年まで始ま”ナイキストは、通信チャネルが最大のデータ伝送速度を持っていたことに気づき、彼は有限の帯域幅ノイズのないチャネルでこれらの速度を計算する もう一つの先駆者はナイキストの同僚であるR・V・L・ハートリーであり、その論文「情報の伝達」（1928年）は情報理論の最初の数学的基礎を確立した。

現代の情報理論の本当の誕生は、1948年にClaude Shannonの”A Mathematical Theory of Communication”がBell System Technical Journalに掲載されたことにさかのぼることができます。 シャノンの仕事の重要なステップは、理論を持つためには、通信信号は、それらが送信するメッセージの意味から分離して扱われなければならない、という彼の認識でした。 この見解は、意味が本質的な役割を果たす情報の一般的な概念とは対照的である。 Shannonはまた、信号によって伝達される知識の量がメッセージのサイズに直接関係していないことに気付きました。 この区別の有名なイラストは、1862年に”レ-ミゼラブル”を出版した後のフランスの小説家ヴィクトール-ユーゴーと彼の出版社との間の対応である。 ヒューゴは彼の出版社にシンボルだけのカードを送った”？”. その見返りに、彼はちょうどシンボル”とカードを受け取った！”. ヒューゴの出版社や一般の人々との関係の中で、これらの短いメッセージには意味が込められていました。 同様に、完全なフランス語での長い、完全なメッセージは、英語だけを理解できる人にはほとんど有用な知識を伝えません。

シャノンは、このように賢明な情報の有用な理論は、最初にメッセージの送受信に関連する問題に集中しなければならず、それは後の研究者のためにセマンティック問題として知られているメッセージの本質的な意味を含む質問を残さなければならないことに気づいた。 明らかに、技術的な問題が解決できなかった場合、つまりメッセージが正しく送信されなかった場合、意味論的な問題は十分に解決される可能性はあ したがって、技術的な問題を解決することは、信頼性の高い通信システムを開発するための最初のステップでした。シャノンがベル研究所で働いていたのは偶然ではありません。

彼の仕事のための実用的な刺激は、信頼性の高い電話システムを作成する際に直面した問題でした。 電気通信の初期に答えなければならなかった重要な質問は、物理的なプラントを最大化するためにどのように最善であった—特に、既存のケーブルを介して電話での会話の最大数を送信する方法。 シャノンの仕事の前に、最大利用率を達成するための要因は明確に理解されていませんでした。 シャノンの研究では、通信チャネルを定義し、干渉やノイズが存在しない理論的な意味だけでなく、実際のチャネルが実際のノイズにさらされる実 シャノンは、チャネルの帯域幅（理論的な信号容量）とその信号対雑音比（干渉の尺度）が信号を運ぶ能力にどのように影響するかを示す式を作成しました。 そうすることで、彼は与えられたチャネルの容量を最大化するための戦略を提案することができ、与えられた技術で可能なことの限界を示しました。 これは、個々のケースに焦点を当て、関連する特定のトレードオフを理解することができるエンジニアにとって非常に有用でした。

シャノンはまた、ノイズがあっても、理論的なチャネル容量に任意に近い信号を送信することが常に可能であるという驚くべき発見をしました。 この発見により、エンジニアは最適とはほど遠い信号伝送の性能を向上させるための実用的な技術を探すようになりました。 シャノンの研究は、通信システム自体を変更することによってのみ実現できる利得とは異なる符号化方式を採用することによって実現できる利得とを明確に区別した。 シャノン以前は、エンジニアはこのような問題を分析して解決する体系的な方法が欠けていました。

シャノンの先駆的な仕事は、このように以来、エンジニアや科学者を導いてきた多くの重要なアイデアを提示しました。 情報理論は、特定の結果を達成する方法を正確に明確にするわけではありませんが、人々は今、どの質問が尋ねる価値があるかを知り、最高のリターンを 彼らはまた、どの種類の質問に答えるのが難しいか、そして費やされた努力の量に対して大きなリターンがない可能性が高い分野を知っています。

1940年代から50年代にかけて、古典情報理論の原理は多くの分野に適用されてきました。 情報理論の応用セクションでは、データ圧縮や誤り訂正などの電気通信の分野だけでなく、生理学、言語学、物理学の別々の分野における成果を調査します。 確かに、シャノンの時代でさえ、情報理論と芸術やビジネスなどの分野との関係を議論する多くの本や記事が登場しました。 残念なことに、これらの主張された関係の多くは疑わしい価値がありました。 情報理論をすべての問題とすべての領域にリンクする努力は、1956年の社説”The Bandwagon”で彼は次の警告を出したことをシャノン自身に十分に邪魔していました。

私は個人的に情報理論の概念の多くは、これらの他の分野で有用であることを証明すると信じています—そして、確かに、いくつかの結果はすでにかなり有望です—しかし、そのようなアプリケーションの確立は、単語を新しいドメインに翻訳するのは些細な問題ではなく、むしろ仮説と実験の遅い退屈なプロセスです検証。

シャノン自身の言葉を念頭に置いて、古典的な情報理論の中心的な原則を見直すことができます。