historisk baggrund

interessen for begrebet information voksede direkte fra oprettelsen af telegraf og telefon. I 1844 byggede den amerikanske opfinder Samuel F. B. Morse en telegraflinje mellem D. C. Og Baltimore, Maryland. Morse stødte på mange elektriske problemer, da han sendte signaler gennem nedgravede transmissionslinjer, men uforklarligt stødte han på færre problemer, da linjerne blev ophængt på poler. Dette tiltrak opmærksomhed fra mange fremtrædende fysikere, især skotten Vilhelm Thomson (Baron Kelvin). På samme måde blev opfindelsen af telefonen i 1875 af Aleksandr Graham Bell og dens efterfølgende spredning tiltrukket yderligere videnskabelige notarer, såsom Henri Poincar, Oliver Heaviside og Michael Pupin, til problemerne forbundet med transmission af signaler over ledninger. Meget af deres arbejde blev udført ved hjælp af Fourier-analyse, en teknik beskrevet senere i denne artikel, men i alle disse tilfælde var analysen dedikeret til at løse de praktiske tekniske problemer i kommunikationssystemer.den formelle undersøgelse af informationsteori begyndte først i 1924, da Harry Nykvist, en forsker ved Bell Laboratories, offentliggjorde et papir med titlen “visse faktorer, der påvirker Telegraphhastighed.”Han indså, at kommunikationskanaler havde maksimale dataoverførselshastigheder, og han afledte en formel til beregning af disse satser i endelige båndbredde lydløse kanaler. R. V. L. Hartley, hvis papir” Transmission of Information ” (1928) etablerede de første matematiske fundamenter for informationsteori.

den virkelige fødsel af moderne informationsteori kan spores til offentliggørelsen i 1948 af Claude Shannons “en matematisk teori om kommunikation” i Bell System Technical Journal. Et vigtigt skridt i Shannons arbejde var hans erkendelse af, at kommunikationssignaler for at have en teori skal behandles isoleret fra betydningen af de meddelelser, de sender. Denne opfattelse er i skarp kontrast til den fælles opfattelse af information, Hvor betydning har en væsentlig rolle. Shannon indså også, at mængden af viden, der formidles af et signal, ikke er direkte relateret til meddelelsens størrelse. En berømt illustration af denne skelnen er korrespondancen mellem den franske romanforfatter Victor Hugo og hans udgiver efter offentliggørelsen af Les Mis-Kurrables i 1862. Hugo sendte sin udgiver et kort med bare symbolet”?”. Til gengæld modtog han et kort med bare symbolet”!”. Inden for rammerne af Hugos forhold til hans udgiver og offentligheden var disse korte beskeder fyldt med mening; mangler en sådan sammenhæng er disse meddelelser meningsløse. Tilsvarende ville en lang, komplet besked på perfekt fransk formidle lidt nyttig viden til nogen, der kun kunne forstå engelsk.

Shannon indså således klogt, at en nyttig informationsteori først skulle koncentrere sig om problemerne forbundet med at sende og modtage meddelelser, og den skulle efterlade spørgsmål, der involverer enhver iboende betydning af en meddelelse—kendt som det semantiske problem—til senere efterforskere. Det er klart, at hvis det tekniske problem ikke kunne løses—det vil sige, hvis en meddelelse ikke kunne overføres korrekt—så var det semantiske problem sandsynligvis aldrig løst tilfredsstillende. Løsning af det tekniske problem var derfor det første skridt i udviklingen af et pålideligt kommunikationssystem.

det er ikke tilfældigt, at Shannon arbejdede for Bell Laboratories. De praktiske stimuli til hans arbejde var problemerne med at skabe et pålideligt telefonsystem. Et centralt spørgsmål, der skulle besvares i de tidlige dage af telekommunikation, var, hvordan man bedst maksimerer det fysiske anlæg—især hvordan man overfører det maksimale antal telefonsamtaler over eksisterende kabler. Forud for Shannons arbejde blev faktorerne for at opnå maksimal udnyttelse ikke klart forstået. Shannons arbejde definerede kommunikationskanaler og viste, hvordan man tildeler en kapacitet til dem, ikke kun i teoretisk forstand, hvor ingen interferens eller støj var til stede, men også i praktiske tilfælde, hvor reelle kanaler blev udsat for reel støj. Shannon producerede en formel, der viste, hvordan båndbredden af en kanal (det vil sige dens teoretiske signalkapacitet) og dens signal-til-støj-forhold (et mål for interferens) påvirkede dens evne til at bære signaler. Dermed var han i stand til at foreslå strategier til maksimering af kapaciteten på en given kanal og viste grænserne for, hvad der var muligt med en given teknologi. Dette var til stor nytte for ingeniører, der derefter kunne fokusere på individuelle sager og forstå de specifikke afvejninger, der var involveret.

Shannon gjorde også den overraskende opdagelse, at selv i nærvær af støj er det altid muligt at transmittere signaler vilkårligt tæt på den teoretiske kanalkapacitet. Denne opdagelse inspirerede ingeniører til at lede efter praktiske teknikker til at forbedre ydeevnen i signaloverførsler, der langt fra var optimale. Shannons arbejde skelnede tydeligt mellem gevinster, der kunne realiseres ved at vedtage en anden kodningsordning fra gevinster, der kun kunne realiseres ved at ændre selve kommunikationssystemet. Før Shannon manglede ingeniører en systematisk måde at analysere og løse sådanne problemer på.

Shannons banebrydende arbejde præsenterede således mange nøgleideer, der har guidet ingeniører og forskere lige siden. Selvom informationsteori ikke altid gør det klart nøjagtigt, hvordan man opnår specifikke resultater, folk ved nu, hvilke spørgsmål der er værd at stille, og kan fokusere på områder, der giver det højeste afkast. De ved også, hvilke slags spørgsmål der er vanskelige at besvare, og de områder, hvor der sandsynligvis ikke er et stort afkast for den anvendte indsats.

siden 1940 ‘erne og 50’ erne er principperne for klassisk informationsteori blevet anvendt på mange områder. Afsnittet anvendelser af informationsteori undersøger resultater ikke kun inden for sådanne områder af telekommunikation som datakomprimering og fejlkorrektion, men også inden for de separate discipliner fysiologi, lingvistik og fysik. Selv på Shannons dag dukkede der faktisk mange bøger og artikler op, der diskuterede forholdet mellem informationsteori og områder som kunst og forretning. Uheldigvis, mange af disse påståede forhold var af tvivlsom værdi. Bestræbelserne på at forbinde informationsteori til ethvert problem og hvert område var foruroligende nok for Shannon selv, at han i en redaktionel artikel fra 1956 med titlen “vognen” udsendte følgende advarsel:

Jeg tror personligt, at mange af begreberne informationsteori vil vise sig nyttige på disse andre områder—og faktisk er nogle resultater allerede ret lovende—men etableringen af sådanne applikationer er ikke et trivielt spørgsmål om at oversætte ord til et nyt domæne, men snarere den langsomme kedelige proces med hypotese og eksperimentel verifikation.

Med Shannons egne ord i tankerne kan vi nu gennemgå de centrale principper for klassisk informationsteori.