Historické pozadí

Zájem o pojmu informace rostla přímo od vytvoření telegrafní a telefonní. V roce 1844 postavil americký vynálezce Samuel F. B. Morse telegrafní linku mezi Washingtonem, D. C. a Baltimorem v Marylandu. Morse se setkal s mnoha elektrickými problémy, když vysílal signály přes pohřbené přenosové vedení,ale nevysvětlitelně narazil na méně problémů, když byly linky zavěšeny na pólech. To přitahovalo pozornost mnoha významných fyziků, zejména skotského Williama Thomsona (Baron Kelvin). Podobným způsobem, vynálezem telefonu v roce 1875 Alexander Graham Bell a jeho následné šíření přilákal další vědecké notáři, jako jsou Henri Poincaré, Oliver Heavisideovy a Michael Pupin, na problémy spojené s přenos signálů přes dráty. Hodně z jejich práce byla provedena pomocí Fourierovy analýzy, technika, popsané dále v tomto článku, ale ve všech těchto případech byla analýza věnován řešení praktických inženýrských problémů komunikačních systémů.

formální studium teorie informace začalo až v roce 1924, kdy Harry Nyquist, výzkumný pracovník v Bell Laboratories, publikoval článek s názvem “ určité faktory ovlivňující rychlost telegrafu.“Nyquist si uvědomil, že komunikační kanály mají maximální rychlost přenosu dat, a on odvodil vzorec pro výpočet těchto sazeb v konečné šířce pásma bezhlučné kanály. Dalším průkopníkem byl Nyquist kolega R. V. L. Hartley, jehož kniha „Předávání Informací“ (1928) založil první matematické základy teorie informace.

skutečný zrod moderní teorie informace lze dohledat publikace v roce 1948 Claude Shannon je „Matematická Teorie Komunikace“ v časopise Bell System Technical Journal. Klíčovým krokem v Shannon práce byla jeho realizace, aby byly teorie, komunikační signály, které musí být zacházeno v izolaci od smyslu zprávy, které přenášejí. Tento pohled je v ostrém kontrastu se společným pojetím informací, ve kterém význam hraje zásadní roli. Shannon si také uvědomil, že množství znalostí přenášených signálem přímo nesouvisí s velikostí zprávy. Slavnou ilustrací tohoto rozdílu je korespondence mezi francouzským romanopiscem Victorem Hugem a jeho vydavatelem po vydání Les Misérables v roce 1862. Hugo poslal vydavateli kartu jen se symbolem „?”. Na oplátku obdržel kartu pouze se symbolem“!”. V kontextu Hugových vztahů s jeho vydavatelem a veřejností byly tyto krátké zprávy nabité významem; postrádající takový kontext jsou tyto zprávy bezvýznamné. Podobně dlouhá, úplná zpráva v dokonalé francouzštině by předala málo užitečných znalostí někomu, kdo by rozuměl pouze angličtině.

Shannon tak moudře si uvědomil, že užitečné teorie informace by nejprve musel soustředit na problémy spojené s odesílání a přijímání zpráv, a to bude muset opustit otázky týkající nějaký vnitřní význam sdělení—známý jako sémantický problém—pro později vyšetřovatelé. Je zřejmé, že pokud by technický problém nemohl být vyřešen—to znamená, že pokud by zpráva nemohla být přenášena správně—pak sémantický problém nebyl pravděpodobně nikdy uspokojivě vyřešen. Řešení technického problému bylo proto prvním krokem ve vývoji spolehlivého komunikačního systému.

není náhodou, že Shannon pracoval pro Bell Laboratories. Praktickými podněty pro jeho práci byly problémy, kterým čelil při vytváření spolehlivého telefonního systému. Klíčovou otázkou, na kterou bylo třeba odpovědět v prvních dnech telekomunikace, bylo, jak nejlépe maximalizovat fyzický závod-zejména jak přenášet maximální počet telefonních rozhovorů přes stávající kabely. Před Shannonovou prací nebyly jasně pochopeny faktory pro dosažení maximálního využití. Shannon je práce definované komunikační kanály a ukázal, jak přiřadit kapacity k nim, a to nejen v teoretické smysl tam, kde žádné rušení nebo hluk, ale také v praktických případech, kde skutečné programy byly podrobeny reálný zvuk. Shannon vytvořila vzorec, který ukázal, jak šířka pásma kanálu (to znamená, že jeho teoretické signál kapacity) a jeho signál-šum poměr (míra rušení) vliv na jeho schopnost nést signály. Přitom byl schopen navrhnout strategie pro maximalizaci kapacity daného kanálu a ukázal limity toho, co bylo možné s danou technologií. To bylo velmi užitečné pro inženýry, kteří se poté mohli soustředit na jednotlivé případy a porozumět konkrétním kompromisům.

Shannon také učinil překvapivý objev, že i v přítomnosti šumu, to je vždy možné přenášet signály libovolně blízko teoretická kapacita kanálu. Tento objev inspiroval inženýry, aby hledali praktické techniky ke zlepšení výkonu v přenosech signálu, které nebyly zdaleka optimální. Shannonova práce jasně rozlišovala mezi zisky, které by mohly být realizovány přijetím jiného schématu kódování, od zisků, které by mohly být realizovány pouze změnou samotného komunikačního systému. Před Shannonem postrádali inženýři systematický způsob analýzy a řešení takových problémů.

Shannonova průkopnická práce tak představila mnoho klíčových myšlenek, které od té doby vedou inženýry a vědce. Ačkoli teorie informací ne vždy jasně ukazuje, jak přesně dosáhnout konkrétních výsledků, lidé nyní vědí, které otázky stojí za to se zeptat, a mohou se zaměřit na oblasti, které přinesou nejvyšší návratnost. Vědí také, na které druhy otázek je obtížné odpovědět, a oblasti, ve kterých pravděpodobně nebude velká návratnost vynaloženého úsilí.

od 40. a 50. let byly principy klasické teorie informace aplikovány na mnoho oblastí. Sekce Aplikace teorie informace, průzkumy úspěchy nejen v těchto oblastech telekomunikací, jako je komprese dat a korekce chyb, ale také v samostatných oborů fyziologie, lingvistika a fyziky. Dokonce i v Shannonově dni se objevilo mnoho knih a článků, které diskutovaly o vztahu mezi teorií informací a oblastmi, jako je umění a podnikání. Bohužel, mnoho z těchto domnělých vztahů mělo pochybnou hodnotu. Snahy o propojení teorie informace na každý problém a každé oblasti byly dost znepokojivé, Shannon sám sebe, že v roce 1956 úvodník s názvem „rozjetého Vlaku“ vydal následující upozornění:

osobně jsem přesvědčen, že mnoho pojmů z teorie informace budou užitečné v těchto dalších oblastech—a, opravdu, některé výsledky jsou již docela slibně—ale vytvoření takové aplikace není triviální záležitost překládat slova do nové domény, ale spíše pomalý, zdlouhavý proces hypotéza a experimentální ověření.

s ohledem na Shannonova vlastní slova můžeme nyní přezkoumat centrální principy klasické teorie informace.