historische achtergrond

De belangstelling voor het begrip informatie groeide direct uit de creatie van de Telegraaf en telefoon. In 1844 bouwde de Amerikaanse uitvinder Samuel F. B. Morse een telegraaflijn tussen Washington D. C. en Baltimore, Maryland. Morse stuitte op veel elektrische problemen toen hij signalen verstuurde door begraven transmissielijnen, maar onverklaarbaar stuitte hij op minder problemen toen de lijnen aan palen werden opgehangen. Dit trok de aandacht van vele vooraanstaande natuurkundigen, met name de Schot William Thomson (Baron Kelvin). Op dezelfde manier trok de uitvinding van de telefoon in 1875 door Alexander Graham Bell en de daaropvolgende verspreiding ervan Andere wetenschappelijke notarissen, zoals Henri Poincaré, Oliver Heaviside en Michael Pupin, naar de problemen die gepaard gaan met het overbrengen van signalen over draden. Veel van hun werk werd gedaan met behulp van Fourier analyse, een techniek die later in dit artikel wordt beschreven, maar in al deze gevallen was de analyse gewijd aan het oplossen van de praktische technische problemen van communicatiesystemen.de formele studie van de informatietheorie begon pas in 1924, toen Harry Nyquist, een onderzoeker bij Bell Laboratories, een artikel publiceerde getiteld “Certain Factors Affecting Telegraph Speed.”Nyquist realiseerde zich dat communicatiekanalen maximale datatransmissiesnelheden hadden, en hij afgeleide een formule voor het berekenen van deze snelheden in eindige bandbreedte geruisloze kanalen. Een andere pionier was Nyquist ’s collega R. V. L. Hartley, wiens artikel” Transmission of Information ” (1928) de eerste wiskundige grondslagen voor de informatietheorie legde.de werkelijke geboorte van de moderne informatietheorie kan worden teruggevoerd op de publicatie in 1948 van Claude Shannons “A Mathematical Theory of Communication” in het Bell System Technical Journal. Een belangrijke stap in Shannon ‘ s werk was zijn besef dat, om een theorie te hebben, communicatiesignalen moeten worden behandeld in afzondering van de Betekenis van de boodschappen die ze overbrengen. Deze opvatting staat in schril contrast met de gemeenschappelijke opvatting van informatie, waarin Betekenis een essentiële rol speelt. Shannon realiseerde zich ook dat de hoeveelheid kennis die door een signaal wordt overgebracht niet direct gerelateerd is aan de grootte van het bericht. Een beroemde illustratie van dit onderscheid is de correspondentie tussen de Franse romanschrijver Victor Hugo en zijn uitgever na de publicatie van Les Misérables in 1862. Hugo stuurde zijn uitgever een kaart met alleen het symbool”?”. In ruil daarvoor kreeg hij een kaart met alleen het symbool”!”. In de context van Hugo ‘ s relaties met zijn uitgever en het publiek werden deze korte berichten geladen met betekenis; bij gebrek aan een dergelijke context zijn deze berichten zinloos. Evenzo zou een lange, volledige boodschap in perfect Frans weinig nuttige kennis overbrengen aan iemand die alleen Engels kon begrijpen.

Shannon realiseerde zich zo wijselijk dat een nuttige informatietheorie zich eerst zou moeten concentreren op de problemen die gepaard gaan met het verzenden en ontvangen van berichten, en dat het vragen over een intrinsieke betekenis van een bericht—bekend als het semantische probleem—zou moeten overlaten aan latere onderzoekers. Het is duidelijk dat als het technische probleem niet kon worden opgelost—dat wil zeggen als een bericht niet correct kon worden verzonden—het semantische probleem waarschijnlijk nooit naar tevredenheid zou kunnen worden opgelost. Het oplossen van het technische probleem was dan ook de eerste stap in de ontwikkeling van een betrouwbaar communicatiesysteem.het is geen toeval dat Shannon voor Bell Laboratories werkte. De praktische stimulans voor zijn werk waren de problemen waarmee hij te maken kreeg bij het opzetten van een betrouwbaar telefoonsysteem. Een belangrijke vraag die in het begin van de telecommunicatie moest worden beantwoord, was hoe de fysieke installatie het beste kon worden gemaximaliseerd—in het bijzonder hoe het maximale aantal telefoongesprekken over bestaande kabels kon worden verzonden. Voorafgaand aan Shannon ‘ s werk werden de factoren voor het bereiken van maximale benutting niet duidelijk begrepen. Shannons werk definieerde communicatiekanalen en toonde aan hoe ze een capaciteit konden toewijzen, niet alleen in theoretische zin waar geen interferentie of lawaai aanwezig was, maar ook in praktische gevallen waar echte kanalen werden blootgesteld aan echt lawaai. Shannon produceerde een formule die liet zien hoe de bandbreedte van een kanaal (dat wil zeggen Zijn Theoretische signaalcapaciteit) en zijn signaal-ruisverhouding (een maat voor interferentie) zijn capaciteit om signalen te dragen beïnvloedden. Daarbij kon hij strategieën voorstellen om de capaciteit van een bepaald kanaal te maximaliseren en toonde hij de grenzen van wat mogelijk was met een bepaalde technologie. Dit was van groot nut voor ingenieurs, die zich daarna konden concentreren op individuele gevallen en de specifieke trade-offs die betrokken waren begrijpen.

Shannon deed ook de verrassende ontdekking dat het, zelfs in aanwezigheid van ruis, altijd mogelijk is om signalen willekeurig dicht bij de theoretische kanaalcapaciteit uit te zenden. Deze ontdekking inspireerde ingenieurs om te zoeken naar praktische technieken om de prestaties in signaaltransmissies te verbeteren die verre van optimaal waren. Shannons werk onderscheidde duidelijk tussen winsten die gerealiseerd konden worden door een ander coderingsschema aan te nemen dan winsten die alleen gerealiseerd konden worden door het communicatiesysteem zelf te veranderen. Voor Shannon ontbrak het ingenieurs aan een systematische manier om dergelijke problemen te analyseren en op te lossen.Shannons baanbrekende werk leverde dus veel belangrijke ideeën op die ingenieurs en wetenschappers sindsdien hebben geleid. Hoewel de informatietheorie niet altijd duidelijk maakt hoe specifieke resultaten moeten worden bereikt, weten mensen nu welke vragen de moeite waard zijn om te stellen en kunnen ze zich richten op gebieden die het hoogste rendement opleveren. Zij weten ook welke soorten vragen moeilijk te beantwoorden zijn en op welke gebieden waarschijnlijk geen grote opbrengst zal zijn voor de hoeveelheid inspanning die wordt besteed.sinds de jaren veertig en vijftig zijn de principes van de klassieke informatietheorie op vele gebieden toegepast. De sectie Toepassingen van de informatietheorie enquãates resultaten niet alleen in gebieden van de telecommunicatie als datacompressie en foutcorrectie, maar ook in de afzonderlijke disciplines van fysiologie, taalkunde en natuurkunde. Inderdaad, zelfs in Shannons tijd verschenen vele boeken en artikelen die de relatie tussen informatietheorie en gebieden zoals kunst en het bedrijfsleven bespraken. Helaas waren veel van deze vermeende relaties van twijfelachtige waarde. Inspanningen informatie te koppelen theorie aan elk probleem en elk gebied waren verontrustend genoeg om Shannon zelf dat in 1956 een editoriaal met de titel “De Kar”, en gaf de volgende waarschuwing:

persoonlijk denk ik dat veel van de concepten van de informatie theorie nuttig zal blijken in deze andere gebieden en, inderdaad, enkele resultaten zijn al heel veelbelovend, maar de oprichting van dergelijke toepassingen is geen triviale zaak van woorden vertalen naar een nieuw domein, maar de langzame moeizaam proces van de hypothese en experimentele verificatie.

met Shannon ‘ s eigen woorden in gedachten, kunnen we nu de centrale principes van de klassieke informatietheorie herzien.