historisk bakgrund

intresset för begreppet information växte direkt från skapandet av telegraf och telefon. År 1844 byggde den amerikanska uppfinnaren Samuel F. B. Morse en telegraflinje mellan Washington, DC och Baltimore, Maryland. Morse stötte på många elektriska problem när han skickade signaler genom begravda överföringsledningar, men oförklarligt stötte han på färre problem när linjerna hängdes på poler. Detta lockade uppmärksamheten hos många framstående fysiker, särskilt skotaren William Thomson (Baron Kelvin). På ett liknande sätt lockade uppfinningen av telefonen 1875 av Alexander Graham Bell och dess efterföljande spridning ytterligare vetenskapliga notarier, såsom Henri Poincar Kubi, Oliver Heaviside och Michael Pupin, till problemen i samband med överföring av signaler över ledningar. Mycket av deras arbete gjordes med Fourier-analys, en teknik som beskrivs senare i denna artikel, men i alla dessa fall var analysen avsedd att lösa de praktiska tekniska problemen i kommunikationssystem.

den formella studien av informationsteori började inte förrän 1924, då Harry Nyquist, forskare vid Bell Laboratories, publicerade ett papper med titeln ”vissa faktorer som påverkar Telegraph Speed.”Nyquist insåg att kommunikationskanaler hade maximala dataöverföringshastigheter, och han härledde en formel för att beräkna dessa hastigheter i ändliga bandbredds ljudlösa kanaler. En annan pionjär var nyquists kollega R. V. L. Hartley, vars papper” överföring av Information ” (1928) etablerade de första matematiska grunden för informationsteori.

den verkliga födelsen av modern informationsteori kan spåras till publiceringen 1948 av Claude Shannons” A Mathematical Theory of Communication ” i Bell System Technical Journal. Ett viktigt steg i Shannons arbete var hans insikt om att kommunikationssignaler måste behandlas isolerat från betydelsen av de meddelanden som de sänder för att få en teori. Denna uppfattning står i skarp kontrast till den gemensamma uppfattningen om information, i vilken mening har en viktig roll. Shannon insåg också att mängden kunskap som förmedlas av en signal inte är direkt relaterad till meddelandets storlek. En berömd illustration av denna distinktion är korrespondensen mellan den franska författaren Victor Hugo och hans förläggare efter publiceringen av Les Mis Sirables 1862. Hugo skickade sin utgivare ett kort med bara symbolen”?”. I gengäld fick han ett kort med bara symbolen”!”. Inom ramen för Hugos relationer med sin förläggare och allmänheten laddades dessa korta meddelanden med mening; saknar ett sådant sammanhang är dessa meddelanden meningslösa. På samma sätt skulle ett långt, komplett meddelande på perfekt franska förmedla lite användbar kunskap till någon som bara kunde förstå engelska.

Shannon insåg därför klokt att en användbar informationsteori först måste koncentrera sig på problemen i samband med att skicka och ta emot meddelanden, och det skulle behöva lämna frågor som involverar någon inneboende betydelse av ett meddelande—känt som semantiskt problem—för senare utredare. Det är uppenbart att om det tekniska problemet inte kunde lösas—det vill säga om ett meddelande inte kunde överföras korrekt—var det semantiska problemet sannolikt aldrig att lösas på ett tillfredsställande sätt. Att lösa det tekniska problemet var därför det första steget i att utveckla ett tillförlitligt kommunikationssystem.

det är ingen slump att Shannon arbetade för Bell Laboratories. De praktiska stimuli för hans arbete var problemen med att skapa ett pålitligt telefonsystem. En nyckelfråga som måste besvaras under de första dagarna av telekommunikation var hur man bäst maximerade den fysiska anläggningen—i synnerhet hur man överför det maximala antalet telefonsamtal över befintliga kablar. Före Shannons arbete var faktorerna för att uppnå maximalt utnyttjande inte tydligt förstådda. Shannons arbete definierade kommunikationskanaler och visade hur man skulle tilldela dem en kapacitet, inte bara i teoretisk mening där ingen störning eller buller var närvarande utan också i praktiska fall där verkliga kanaler utsattes för verkligt ljud. Shannon producerade en formel som visade hur bandbredden för en kanal (det vill säga dess teoretiska signalkapacitet) och dess signal-brusförhållande (ett mått på störningar) påverkade dess förmåga att bära signaler. På så sätt kunde han föreslå strategier för att maximera kapaciteten hos en given kanal och visade gränserna för vad som var möjligt med en given teknik. Detta var till stor nytta för ingenjörer, som därefter kunde fokusera på enskilda fall och förstå de specifika avvägningarna som var inblandade.Shannon gjorde också den häpnadsväckande upptäckten att även i närvaro av brus är det alltid möjligt att överföra signaler godtyckligt nära den teoretiska kanalkapaciteten. Denna upptäckt inspirerade ingenjörer att leta efter praktiska tekniker för att förbättra prestanda i signalöverföringar som var långt ifrån optimala. Shannons arbete skilde tydligt mellan vinster som kunde realiseras genom att anta ett annat kodningsschema från vinster som endast kunde realiseras genom att förändra kommunikationssystemet självt. Innan Shannon saknade ingenjörer ett systematiskt sätt att analysera och lösa sådana problem.Shannons banbrytande arbete presenterade således många viktiga ideer som har guidat ingenjörer och forskare sedan dess. Även om informationsteori inte alltid klargör exakt hur man uppnår specifika resultat, vet människor nu vilka frågor som är värda att ställa och kan fokusera på områden som ger högsta avkastning. De vet också vilka typer av frågor som är svåra att svara på och de områden där det sannolikt inte kommer att bli en stor avkastning för den mängd ansträngning som används.

sedan 1940-och 50-talet har principerna för klassisk informationsteori tillämpats på många områden. Avsnittet tillämpningar av informationsteori undersökningar prestationer inte bara inom sådana områden av telekommunikation som datakomprimering och felkorrigering utan också i de separata disciplinerna fysiologi, lingvistik och fysik. Faktum är att även på Shannons dag uppträdde många böcker och artiklar som diskuterade förhållandet mellan informationsteori och områden som konst och affärer. Tyvärr, många av dessa påstådda relationer var av tvivelaktigt värde. Ansträngningar för att länka informationsteori till varje problem och varje område var störande nog för Shannon själv att han i en redaktion från 1956 med titeln ”The Bandwagon” utfärdade följande varning:

Jag tror personligen att många av begreppen informationsteori kommer att visa sig användbara inom dessa andra områden—och faktiskt är vissa resultat redan ganska lovande—men upprättandet av sådana applikationer är inte en trivial fråga om att översätta ord till en ny domän, utan snarare den långsamma tråkiga processen med hypotes och experimentell verifiering.

med Shannons egna ord i åtanke kan vi nu granska de centrala principerna för klassisk informationsteori.