Background storico

L’interesse per il concetto di informazione è cresciuto direttamente dalla creazione del telegrafo e del telefono. Nel 1844 l’inventore americano Samuel F. B. Morse costruì una linea telegrafica tra Washington, DC, e Baltimora, Maryland. Morse ha incontrato molti problemi elettrici quando ha inviato segnali attraverso linee di trasmissione sepolte, ma inspiegabilmente ha incontrato meno problemi quando le linee sono state sospese su pali. Questo attirò l’attenzione di molti fisici illustri, in particolare lo scozzese William Thomson (barone Kelvin). Allo stesso modo, l’invenzione del telefono nel 1875 da Alexander Graham Bell e la sua successiva proliferazione attirarono ulteriori notai scientifici, come Henri Poincaré, Oliver Heaviside e Michael Pupin, ai problemi associati alla trasmissione di segnali su fili. Gran parte del loro lavoro è stato fatto utilizzando l’analisi di Fourier, una tecnica descritta più avanti in questo articolo, ma in tutti questi casi l’analisi è stata dedicata alla risoluzione dei problemi pratici di ingegneria dei sistemi di comunicazione.

Lo studio formale della teoria dell’informazione non iniziò fino al 1924, quando Harry Nyquist, ricercatore presso i Bell Laboratories, pubblicò un articolo intitolato “Alcuni fattori che influenzano la velocità del telegrafo.”Nyquist si rese conto che i canali di comunicazione avevano la massima velocità di trasmissione dei dati, e ha derivato una formula per il calcolo di queste tariffe in larghezza di banda finita canali silenziosi. Un altro pioniere fu il collega di Nyquist RVL Hartley, il cui documento” Transmission of Information ” (1928) stabilì le prime basi matematiche per la teoria dell’informazione.

La vera nascita della moderna teoria dell’informazione può essere fatta risalire alla pubblicazione nel 1948 di Claude Shannon “A Mathematical Theory of Communication” nel Bell System Technical Journal. Un passo chiave nel lavoro di Shannon è stata la sua realizzazione che, al fine di avere una teoria, i segnali di comunicazione devono essere trattati in isolamento dal significato dei messaggi che trasmettono. Questa visione è in netto contrasto con la concezione comune dell’informazione, in cui il significato ha un ruolo essenziale. Shannon ha anche capito che la quantità di conoscenza trasmessa da un segnale non è direttamente correlata alla dimensione del messaggio. Una famosa illustrazione di questa distinzione è la corrispondenza tra il romanziere francese Victor Hugo e il suo editore dopo la pubblicazione di Les Misérables nel 1862. Hugo ha inviato al suo editore un biglietto con solo il simbolo”?”. In cambio ha ricevuto una carta con solo il simbolo”!”. Nel contesto delle relazioni di Hugo con il suo editore e il pubblico, questi brevi messaggi erano carichi di significato; mancando un tale contesto, questi messaggi sono privi di significato. Allo stesso modo, un messaggio lungo e completo in perfetto francese trasmetterebbe poche conoscenze utili a qualcuno che potrebbe capire solo l’inglese.

Shannon così saggiamente capito che una teoria utile di informazioni prima di concentrarsi sui problemi associati con l’invio e la ricezione di messaggi, e avrebbe dovuto lasciare domande riguardanti qualsiasi significato intrinseco di un messaggio—è noto come il problema semantico—per più tardi gli investigatori. Chiaramente, se il problema tecnico non poteva essere risolto-cioè se un messaggio non poteva essere trasmesso correttamente-allora il problema semantico non era probabilmente mai risolto in modo soddisfacente. Risolvere il problema tecnico è stato quindi il primo passo nello sviluppo di un sistema di comunicazione affidabile.

Non è un caso che Shannon abbia lavorato per i Bell Laboratories. Gli stimoli pratici per il suo lavoro sono stati i problemi affrontati nella creazione di un sistema telefonico affidabile. Una domanda chiave che doveva essere risolta nei primi giorni di telecomunicazione era il modo migliore per massimizzare l’impianto fisico—in particolare, come trasmettere il numero massimo di conversazioni telefoniche su cavi esistenti. Prima del lavoro di Shannon, i fattori per ottenere il massimo utilizzo non erano chiaramente compresi. Il lavoro di Shannon definiva i canali di comunicazione e mostrava come assegnare loro una capacità, non solo nel senso teorico in cui non era presente alcuna interferenza, o rumore, ma anche nei casi pratici in cui i canali reali erano sottoposti a rumore reale. Shannon ha prodotto una formula che ha mostrato come la larghezza di banda di un canale (cioè, la sua capacità teorica del segnale) e il suo rapporto segnale-rumore (una misura di interferenza) influenzato la sua capacità di trasportare segnali. In tal modo è stato in grado di suggerire strategie per massimizzare la capacità di un dato canale e ha mostrato i limiti di ciò che era possibile con una data tecnologia. Questo era di grande utilità per gli ingegneri, che potevano concentrarsi in seguito su singoli casi e comprendere i compromessi specifici coinvolti.

Shannon ha anche fatto la sorprendente scoperta che, anche in presenza di rumore, è sempre possibile trasmettere segnali arbitrariamente vicini alla capacità teorica del canale. Questa scoperta ha ispirato gli ingegneri a cercare tecniche pratiche per migliorare le prestazioni nelle trasmissioni di segnale che erano tutt’altro che ottimali. Il lavoro di Shannon distingueva chiaramente tra i guadagni che potevano essere realizzati adottando uno schema di codifica diverso dai guadagni che potevano essere realizzati solo alterando il sistema di comunicazione stesso. Prima di Shannon, gli ingegneri mancavano di un modo sistematico di analizzare e risolvere tali problemi.

Il lavoro pionieristico di Shannon ha quindi presentato molte idee chiave che hanno guidato ingegneri e scienziati da allora. Sebbene la teoria dell’informazione non sempre chiarisca esattamente come ottenere risultati specifici, le persone ora sanno quali domande vale la pena porre e possono concentrarsi su aree che produrranno il rendimento più alto. Sanno anche quali tipi di domande sono difficili da rispondere e le aree in cui non è probabile che ci sia un grande ritorno per la quantità di sforzo speso.

Dal 1940 e ’50 i principi della teoria dell’informazione classica sono stati applicati a molti campi. La sezione Applicazioni della teoria dell’informazione esamina i risultati non solo in settori delle telecomunicazioni come la compressione dei dati e la correzione degli errori, ma anche nelle discipline separate di fisiologia, linguistica e fisica. Infatti, anche ai tempi di Shannon apparvero molti libri e articoli che discutevano della relazione tra la teoria dell’informazione e aree come l’arte e il business. Sfortunatamente, molte di queste presunte relazioni erano di dubbia valore. Sforzi per collegare la teoria dell’informazione di ogni problema e di ogni area sono inquietanti abbastanza per Shannon stesso che nel 1956 editoriale intitolato “Il Carrozzone”, ha emesso il seguente avviso:

personalmente credo che molti dei concetti della teoria dell’informazione si rivelerà utile in questi altri settori, e, anzi, alcuni risultati sono già molto promettenti—ma la creazione di tali applicazioni non è una banale questione di tradurre le parole in un nuovo dominio, ma piuttosto lento processo noioso di ipotesi e la verifica sperimentale.

Con le parole di Shannon in mente, ora possiamo rivedere i principi centrali della teoria dell’informazione classica.