Få Et Britannica Premium-abonnement og få tilgang til eksklusivt innhold. Shannon innså derfor klokt at en nyttig informasjonsteori først måtte konsentrere seg om problemene knyttet til sending og mottak av meldinger, og det måtte legge igjen spørsmål som involverer enhver indre betydning av en melding-kjent som det semantiske problemet-for senere etterforskere. Klart, hvis det tekniske problemet ikke kunne løses-det vil si hvis en melding ikke kunne overføres riktig – så var det semantiske problemet sannsynligvis aldri løst tilfredsstillende. Å løse det tekniske problemet var derfor det første trinnet i å utvikle et pålitelig kommunikasjonssystem.

Det er ingen tilfeldighet At Shannon jobbet For Bell Laboratories. De praktiske stimuli for hans arbeid var problemene med å skape et pålitelig telefonsystem. Et sentralt spørsmål som måtte besvares i de tidlige dagene av telekommunikasjon var hvordan man best kan maksimere den fysiske anlegget—spesielt hvordan man overfører maksimalt antall telefonsamtaler over eksisterende kabler. Før Shannons arbeid ble faktorene for å oppnå maksimal utnyttelse ikke klart forstått. Shannons arbeid definerte kommunikasjonskanaler og viste hvordan man tilordner en kapasitet til dem, ikke bare i teoretisk forstand hvor ingen interferens eller støy var tilstede, men også i praktiske tilfeller hvor ekte kanaler ble utsatt for ekte støy. Shannon produserte en formel som viste hvordan båndbredden til en kanal (det vil si dens teoretiske signalkapasitet) og dens signal-til-støyforhold (et mål for interferens) påvirket dens evne til å bære signaler. Ved å gjøre det var han i stand til å foreslå strategier for å maksimere kapasiteten til en gitt kanal og viste grensene for hva som var mulig med en gitt teknologi. Dette var til stor nytte for ingeniører, som deretter kunne fokusere på enkeltsaker og forstå de spesifikke avveiningene som var involvert.

Shannon gjorde også den oppsiktsvekkende oppdagelsen at det, selv i nærvær av støy, alltid er mulig å overføre signaler vilkårlig nær den teoretiske kanalkapasiteten. Denne oppdagelsen inspirerte ingeniører til å lete etter praktiske teknikker for å forbedre ytelsen i signaloverføringer som var langt fra optimale. Shannons arbeid skilte klart mellom gevinster som kunne realiseres ved å vedta en annen kodingsordning fra gevinster som kun kunne realiseres ved å endre kommunikasjonssystemet selv. Før Shannon manglet ingeniører en systematisk måte å analysere og løse slike problemer på.

Shannons banebrytende arbeid presenterte dermed mange viktige ideer som har veiledet ingeniører og forskere helt siden. Selv om informasjonsteori ikke alltid gjør det klart nøyaktig hvordan man skal oppnå bestemte resultater, vet folk nå hvilke spørsmål som er verdt å spørre og kan fokusere på områder som gir høyest avkastning. De vet også hvilke typer spørsmål som er vanskelige å svare på og områdene der det ikke er sannsynlig å være en stor avkastning for mengden innsats som er brukt.siden 1940-og 50-tallet har prinsippene for klassisk informasjonsteori blitt brukt på mange felt. Seksjonen Anvendelser av informasjonsteori undersøkelser prestasjoner ikke bare i slike områder av telekommunikasjon som datakomprimering og feilretting, men også i de separate disiplinene fysiologi, lingvistikk og fysikk. Faktisk, selv I Shannon dag mange bøker og artikler dukket opp som diskuterte forholdet mellom informasjonsteori og områder som kunst og næringsliv. Dessverre, mange av disse påståtte relasjoner var av tvilsom verdi. Arbeidet med å knytte informasjonsteori til hvert problem og hvert område var forstyrrende nok Til Shannon selv at Han i en 1956—leder med tittelen «The Bandwagon» utstedte følgende advarsel:

jeg tror personlig at mange av konseptene av informasjonsteori vil vise seg å være nyttige på disse andre feltene—og faktisk er noen resultater allerede ganske lovende-men etableringen av slike applikasjoner er ikke et trivielt spørsmål om å oversette ord til et nytt domene, men heller den langsomme kjedelige prosessen med hypotese og eksperimentell verifisering.

Med Shannons egne ord i tankene kan Vi nå gjennomgå de sentrale prinsippene i klassisk informasjonsteori.