historiallinen tausta

kiinnostus informaation käsitteeseen kasvoi suoraan lennättimen ja puhelimen luomisen myötä. Vuonna 1844 yhdysvaltalainen keksijä Samuel F. B. Morse rakensi lennätinlinjan Washingtonin ja Marylandin Baltimoren välille. Morse kohdannut monia sähköongelmia, kun hän lähetti signaaleja kautta haudattu voimajohdot, mutta selittämättömästi hän kohtasi vähemmän ongelmia, kun linjat oli keskeytetty pylväät. Tämä herätti monien ansioituneiden fyysikoiden huomion, erityisesti skotlantilaisen William Thomsonin (Paroni Kelvin). Samaan tapaan Alexander Graham Bellin vuonna 1875 keksimä puhelin ja sen yleistyminen houkuttelivat lisää tieteellisiä notaareja, kuten Henri Poincarén, Oliver Heavisiden ja Michael Pupinin, käsittelemään ongelmia, jotka liittyivät signaalien välittämiseen johtojen yli. Suuri osa heidän työstään tehtiin käyttäen Fourier-analyysi, tekniikka kuvattu myöhemmin tässä artikkelissa, mutta kaikissa näissä tapauksissa analyysi oli omistettu ratkaista käytännön teknisiä ongelmia viestintäjärjestelmiä.

informaatioteorian muodollinen tutkimus alkoi vasta vuonna 1924, jolloin Bell Laboratories-tutkimuslaitoksen tutkija Harry Nyquist julkaisi tutkielman ”Certain Factors Affecting Telegraph Speed.”Nyquist tajusi, että viestintäkanavilla oli maksimaaliset tiedonsiirtonopeudet, ja hän johti kaavan näiden nopeuksien laskemiseksi äärellisillä kaistanleveyksillä äänettömillä kanavilla. Toinen uranuurtaja oli Nyquistin kollega R. V. L. Hartley, jonka tutkielma ”Transmission of Information” (1928) loi ensimmäiset matemaattiset perusteet informaatioteorialle.

nykyaikaisen informaatioteorian todellinen synty voidaan jäljittää Claude Shannonin ”A Mathematical Theory of Communication” – teoksen julkaisuun vuonna 1948 Bell System Technical Journal-lehdessä. Keskeinen askel Shannonin työssä oli hänen oivalluksensa siitä, että jotta kommunikaatiosignaaleja voitaisiin teoriassa käsitellä erillään niiden välittämien viestien merkityksestä. Tämä näkemys on jyrkässä ristiriidassa yleisen informaatiokäsityksen kanssa, jossa merkityksellä on keskeinen rooli. Shannon ymmärsi myös, että signaalin välittämän tiedon määrä ei ole suoraan yhteydessä viestin kokoon. Kuuluisa esimerkki tästä erottelusta on ranskalaisen kirjailijan Victor Hugon ja hänen kustantajansa kirjeenvaihto Les Misérablesin julkaisun jälkeen vuonna 1862. Hugo lähetti kustantajalleen kortin, jossa oli vain symboli”?”. Vastineeksi hän sai kortin, jossa oli vain symboli”!”. Kun otetaan huomioon Hugon suhteet kustantajaansa ja yleisöön, nämä lyhyet viestit oli ladattu merkityksellisillä asiayhteyksillä; tällaisen asiayhteyden puuttuessa nämä viestit ovat merkityksettömiä. Samoin pitkä, täydellinen viesti täydellisellä ranskankielellä antaisi vähän hyödyllistä tietoa jollekulle, joka ymmärtäisi vain englantia.

Shannon oivalsi näin viisaasti, että hyödyllisen informaatioteorian olisi ensin keskityttävä viestien lähettämiseen ja vastaanottamiseen liittyviin ongelmiin, ja sen olisi jätettävä myöhempien tutkijoiden ratkaistavaksi kysymykset, joihin liittyy jokin viestin—semanttisena ongelmana tunnettu—sisäinen merkitys. On selvää, että jos teknistä ongelmaa ei voitu ratkaista—toisin sanoen jos viestiä ei voitu välittää oikein—semanttista ongelmaa ei todennäköisesti koskaan voitu ratkaista tyydyttävästi. Teknisen ongelman ratkaiseminen oli siten ensimmäinen askel luotettavan viestintäjärjestelmän kehittämisessä.

ei ole sattumaa, että Shannon työskenteli Bell Laboratoriesille. Käytännön virikkeitä hänen työhönsä olivat ongelmat luotettavan puhelinjärjestelmän luomisessa. Keskeinen kysymys, joka oli vastattava alkuaikoina televiestinnän oli, miten parhaiten maksimoida fyysinen kasvi—erityisesti, miten lähettää suurin määrä puhelinkeskusteluja yli olemassa kaapeleita. Ennen Shannonin työtä ei ymmärretty tarkasti tekijöitä, joilla saavutetaan maksimaalinen hyödyntäminen. Shannonin työ määritteli viestintäkanavat ja osoitti, miten niille voidaan antaa kapasiteettia, ei vain teoreettisessa mielessä, jossa ei ollut häiriöitä eli melua, vaan myös käytännön tapauksissa, joissa todelliset kanavat altistuivat todelliselle melulle. Shannon laati kaavan, joka osoitti, miten kanavan kaistanleveys (eli sen teoreettinen signaalikapasiteetti) ja sen signaali-kohina-suhde (häiriöiden mitta) vaikuttivat sen kykyyn kuljettaa signaaleja. Näin hän pystyi ehdottamaan strategioita kapasiteetin maksimoimiseksi tietyn kanavan ja osoitti rajat, mikä oli mahdollista tietyn teknologian. Tämä oli suureksi hyödyksi insinööreille, jotka pystyivät keskittymään sen jälkeen yksittäisiin tapauksiin ja ymmärtämään niihin liittyvät erityiset kompromissit.

Shannon teki myös hätkähdyttävän havainnon siitä, että kohinankin läsnä ollessa on aina mahdollista lähettää signaaleja mielivaltaisesti lähellä teoreettista kanavakapasiteettia. Tämä löytö innoitti insinöörejä etsimään käytännön tekniikoita parantaa suorituskykyä signaalin, jotka olivat kaukana optimaalista. Shannonin työ erotti selvästi voitot, jotka voitaisiin toteuttaa hyväksymällä erilainen koodausjärjestelmä hyödyistä, jotka voitaisiin toteuttaa vain muuttamalla itse viestintäjärjestelmää. Ennen Shannonia insinööreiltä puuttui systemaattinen tapa analysoida ja ratkaista tällaisia ongelmia.

Shannonin uraauurtava työ esittikin monia keskeisiä ajatuksia, jotka ovat ohjanneet insinöörejä ja tiedemiehiä siitä lähtien. Vaikka informaatioteoria ei aina tee selväksi, miten konkreettisiin tuloksiin päästään, ihmiset tietävät nyt, mitä kysymyksiä kannattaa kysyä ja voivat keskittyä aloihin, jotka tuottavat suurimman tuoton. He tietävät myös, millaisiin kysymyksiin on vaikea vastata ja millä aloilla ei todennäköisesti saada suurta tuottoa käytetystä ponnistuksesta.

1940-ja 50-luvuilta lähtien klassisen informaatioteorian periaatteita on sovellettu monilla aloilla. Osa Applications of information theory kartoittaa saavutuksia ei vain sellaisilla televiestinnän aloilla kuin tiedon pakkaus ja Virhekorjaus, vaan myös erillisillä tieteenaloilla fysiologia, kielitiede, ja fysiikka. Shannonin aikanakin ilmestyi monia kirjoja ja artikkeleita, jotka käsittelivät informaatioteorian ja muun muassa taiteen ja liike-elämän välistä suhdetta. Valitettavasti monet näistä väitetyistä suhteista olivat arveluttavan arvokkaita. Yritykset liittää informaatioteoria jokaiseen ongelmaan ja jokaiseen alueeseen olivat tarpeeksi häiritseviä Shannonille itselleen, että vuonna 1956 julkaisemassaan pääkirjoituksessa ”the Bandwagon” hän antoi seuraavan varoituksen:

henkilökohtaisesti uskon, että monet informaatioteorian käsitteistä osoittautuvat hyödyllisiksi näillä muilla aloilla—ja itse asiassa jotkut tulokset ovat jo varsin lupaavia—mutta tällaisten sovellusten perustaminen ei ole vähäpätöinen asia sanojen kääntämisessä uudelle alalle, vaan pikemminkin hypoteesin ja kokeellisen hitaan pitkäveteisen prosessin varmistus.

Shannonin omin sanoin voidaan nyt tarkastella klassisen informaatioteorian keskeisiä periaatteita.