történelmi háttér

Az információ fogalma iránti érdeklődés közvetlenül a távíró és a telefon létrehozásából származott. 1844-ben Samuel F. B. Morse amerikai feltaláló távíróvonalat épített Washington, D. C. és Baltimore, Maryland között. Morse sok elektromos problémával találkozott, amikor jeleket küldött az eltemetett távvezetékeken keresztül, de megmagyarázhatatlanul kevesebb problémával szembesült, amikor a vonalakat oszlopokra felfüggesztették. Ez felkeltette számos kiváló fizikus, leginkább a skót William Thomson (Kelvin báró) figyelmét. Hasonló módon a telefon Alexander Graham Bell 1875-ös feltalálása és későbbi elterjedése további tudományos közjegyzőket vonzott, mint például Henri Poincaré, Oliver Heaviside és Michael Pupin, a jelek vezetékeken történő továbbításával kapcsolatos problémákra. Munkájuk nagy részét Fourier-analízissel végezték, amelyet később ebben a cikkben ismertetünk, de mindezen esetekben az elemzés a kommunikációs rendszerek gyakorlati mérnöki problémáinak megoldására irányult.

az információelmélet formális tanulmányozása csak 1924-ben kezdődött, amikor Harry Nyquist, a Bell Laboratories kutatója megjelent egy ” a távíró sebességét befolyásoló bizonyos tényezők.”Nyquist rájött, hogy a kommunikációs csatornák maximális adatátviteli sebességgel rendelkeznek, és egy képletet készített ezeknek az arányoknak a kiszámításához véges sávszélességű zajmentes csatornákban. Egy másik úttörő volt Nyquist kollégája, R. V. L. Hartley, akinek az “információátadás” (1928) című cikke létrehozta az információelmélet első matematikai alapjait.

a modern információelmélet valódi születése Claude Shannon “a matematikai kommunikációs elmélet” 1948-as publikációjára vezethető vissza a Bell System Technical Journal-ban. Shannon munkájának kulcsfontosságú lépése az volt, hogy rájött, hogy egy elmélethez a kommunikációs jeleket az általuk továbbított üzenetek jelentésétől elkülönítve kell kezelni. Ez a nézet éles ellentétben áll az információ közös fogalmával, amelyben a jelentésnek alapvető szerepe van. Shannon azt is rájött, hogy a jel által közvetített tudás mennyisége nem közvetlenül kapcsolódik az üzenet méretéhez. Ennek a megkülönböztetésnek a híres illusztrációja Victor Hugo francia regényíró és kiadója közötti levelezés A Les Misérables 1862-es kiadását követően. Hugo küldött a kiadójának egy kártyát csak a szimbólummal”?”. Cserébe kapott egy kártyát csak a szimbólum”!”. Hugo kiadójával és a nyilvánossággal való kapcsolatának összefüggésében ezek a rövid üzenetek tele voltak jelentéssel; ilyen kontextus hiányában ezek az üzenetek értelmetlenek. Hasonlóképpen, egy hosszú, Teljes üzenet tökéletes franciában kevés hasznos tudást közvetít valakinek,aki csak angolul ért.

Shannon így bölcsen rájött, hogy egy hasznos információelméletnek először az üzenetek küldésével és fogadásával kapcsolatos problémákra kell összpontosítania, és kérdéseket kell hagynia, amelyek magukban foglalják az üzenet belső jelentését—szemantikai problémaként ismert—a későbbi nyomozók számára. Nyilvánvaló, hogy ha a technikai problémát nem lehetett megoldani—vagyis ha egy üzenetet nem lehetett helyesen továbbítani -, akkor a szemantikai problémát valószínűleg soha nem sikerült kielégítően megoldani. A műszaki probléma megoldása tehát az első lépés volt egy megbízható kommunikációs rendszer kifejlesztésében.

nem véletlen, hogy Shannon a Bell Laboratories-nál dolgozott. Munkájának gyakorlati ösztönzői a megbízható telefonrendszer létrehozásakor felmerülő problémák voltak. A telekommunikáció első napjaiban megválaszolandó kulcsfontosságú kérdés az volt, hogyan lehet a legjobban maximalizálni a fizikai üzemet—különösen, hogyan lehet a telefonbeszélgetések maximális számát továbbítani a meglévő kábeleken. Shannon munkája előtt a maximális kihasználtság elérésének tényezőit nem értették egyértelműen. Shannon munkája meghatározta a kommunikációs csatornákat, és megmutatta, hogyan lehet kapacitást hozzárendelni hozzájuk, nem csak elméleti értelemben, ahol nincs interferencia vagy zaj, hanem olyan gyakorlati esetekben is, amikor a valódi csatornákat valódi zajnak vetették alá. Shannon készített egy képletet, amely megmutatta, hogy egy csatorna sávszélessége (azaz elméleti jelkapacitása) és jel-zaj aránya (az interferencia mértéke) hogyan befolyásolta a jelek átvitelének képességét. Ennek során képes volt stratégiákat javasolni egy adott csatorna kapacitásának maximalizálására, valamint megmutatta, hogy mi lehetséges egy adott technológiával. Ez nagy hasznát vette a mérnököknek, akik ezt követően az egyes esetekre összpontosíthattak, és megérthették az érintett konkrét kompromisszumokat.

Shannon azt a megdöbbentő felfedezést is tette, hogy még zaj jelenlétében is mindig lehetséges a jelek önkényesen továbbítása az elméleti csatorna kapacitásához közel. Ez a felfedezés arra ösztönözte a mérnököket, hogy olyan gyakorlati technikákat keressenek, amelyek javítják a teljesítményt az optimálistól távol eső jelátvitelekben. Shannon munkája egyértelműen megkülönböztethető a nyereségek között, amelyeket egy eltérő kódolási rendszer elfogadásával lehet megvalósítani a nyereségektől, amelyeket csak a kommunikációs rendszer megváltoztatásával lehet megvalósítani. Shannon előtt a mérnököknek nem volt szisztematikus módszerük az ilyen problémák elemzésére és megoldására.

Shannon úttörő munkája így számos kulcsfontosságú ötletet mutatott be, amelyek azóta vezérelték a mérnököket és a tudósokat. Bár az információelmélet nem mindig teszi egyértelművé, hogy pontosan hogyan lehet konkrét eredményeket elérni, az emberek most már tudják, mely kérdéseket érdemes feltenni, és azokra a területekre összpontosíthatnak, amelyek a legmagasabb hozamot eredményezik. Azt is tudják, hogy milyen kérdéseket nehéz megválaszolni, és azokat a területeket, ahol valószínűleg nem lesz nagy megtérülés a felhasznált erőfeszítések összegére.

az 1940-es, ’50-es évek óta a klasszikus információelmélet alapelveit számos területre alkalmazták. Az információelmélet Alkalmazások szekciója nemcsak a távközlés olyan területeit vizsgálja, mint az adattömörítés és a hibajavítás, hanem a fiziológia, a nyelvészet és a fizika külön tudományágait is. Sőt, még Shannon napjaiban is számos könyv és cikk jelent meg, amelyek az információelmélet és az olyan területek, mint a művészet és az üzlet kapcsolatát tárgyalták. Sajnálatos módon, sok ilyen állítólagos kapcsolatok voltak kétes értékű. Erőfeszítéseket kapcsolat információ elmélet, hogy minden probléma, minden területen voltak elég zavaró, hogy Shannon magát, hogy az 1956-os szerkesztőség címe: “A Bandwagon” kiadta az alábbi figyelmeztetés:

én személy szerint úgy gondolom, hogy sok a fogalmak információ elmélet hasznos lesz ezekben a más területeken—, sőt, néhány eredmény már nagyon ígéretes, de a létrehozó az ilyen alkalmazások nem egy triviális kérdés, fordítás szó, hogy egy új domain, de inkább a lassú, unalmas folyamat hipotézis kísérleti ellenőrzése.

Shannon saját szavaival szem előtt tartva, most áttekinthetjük a klasszikus információelmélet központi elveit.