Articles

Teoria informației

by admin

istoric

interesul pentru conceptul de informație a crescut direct de la crearea telegrafului și a telefonului. În 1844 inventatorul american Samuel F. B. Morse a construit o linie telegrafică între Washington, D. C. și Baltimore, Maryland. Morse a întâmpinat multe probleme electrice atunci când a trimis semnale prin linii de transmisie îngropate, dar în mod inexplicabil a întâmpinat mai puține probleme atunci când liniile au fost suspendate pe stâlpi. Acest lucru a atras atenția multor fizicieni distinși, mai ales scoțianul William Thomson (Baronul Kelvin). În mod similar, invenția telefonului în 1875 de către Alexander Graham Bell și proliferarea sa ulterioară au atras notari științifici, cum ar fi Henri Poincar, Oliver Heaviside, și Michael Pupin, la problemele asociate cu transmiterea semnalelor prin fire. O mare parte din munca lor a fost realizată folosind analiza Fourier, o tehnică descrisă mai târziu în acest articol, dar în toate aceste cazuri analiza a fost dedicată rezolvării problemelor practice de inginerie ale sistemelor de comunicații.studiul formal al teoriei informației a început abia în 1924, când Harry Nyquist, cercetător la Bell Laboratories, a publicat o lucrare intitulată ” anumiți factori care afectează viteza Telegrafului.”Nyquist și-a dat seama că canalele de comunicare aveau rate maxime de transmitere a datelor și a derivat o formulă pentru calcularea acestor rate în canale fără zgomot cu lățime de bandă finită. Un alt pionier a fost colegul lui Nyquist R. V. L. Hartley, a cărui lucrare „transmiterea informațiilor” (1928) a stabilit primele baze matematice pentru teoria informației.

nașterea reală a teoriei informației moderne poate fi urmărită la publicarea în 1948 a lui Claude Shannon „O teorie matematică a comunicării” în Bell System Technical Journal. Un pas cheie în opera lui Shannon a fost realizarea lui că, pentru a avea o teorie, semnalele de comunicare trebuie tratate izolat de semnificația mesajelor pe care le transmit. Această viziune este în contrast puternic cu concepția comună a informațiilor, în care sensul are un rol esențial. Shannon a realizat, de asemenea, că cantitatea de cunoștințe transmise de un semnal nu este direct legată de dimensiunea mesajului. O ilustrare celebră a acestei distincții este corespondența dintre romancierul francez Victor Hugo și editorul său în urma publicării Les Mis Untrables în 1862. Hugo i-a trimis editorului său o felicitare cu simbolul „?”. În schimb, a primit o carte cu doar simbolul”!”. În contextul relațiilor lui Hugo cu editorul său și cu publicul, aceste mesaje scurte au fost încărcate de sens; lipsit de un astfel de context, aceste mesaje sunt lipsite de sens. În mod similar, un mesaj lung și complet în franceză perfectă ar transmite puține cunoștințe utile cuiva care ar putea înțelege doar engleza.

obțineți un abonament Britannica Premium și obțineți acces la conținut exclusiv. Astfel, Shannon și—a dat seama cu înțelepciune că o teorie utilă a informațiilor ar trebui mai întâi să se concentreze asupra problemelor asociate cu trimiterea și primirea mesajelor și ar trebui să lase întrebări care implică orice semnificație intrinsecă a unui mesaj—cunoscut sub numele de problema semantică-pentru anchetatorii ulteriori. În mod evident, dacă problema tehnică nu a putut fi rezolvată—adică dacă un mesaj nu a putut fi transmis corect—atunci problema semantică nu a fost probabil rezolvată vreodată în mod satisfăcător. Rezolvarea problemei tehnice a fost, prin urmare, primul pas în dezvoltarea unui sistem de comunicare fiabil.

nu este un accident că Shannon a lucrat pentru Bell Laboratories. Stimulii practici pentru munca sa au fost problemele cu care se confruntă crearea unui sistem telefonic fiabil. O întrebare cheie la care trebuia să se răspundă în primele zile ale telecomunicațiilor a fost cea mai bună modalitate de a maximiza instalația fizică—în special, cum să transmită numărul maxim de conversații telefonice prin cablurile existente. Înainte de munca lui Shannon, factorii pentru obținerea unei utilizări maxime nu erau clar înțeleși. Lucrarea lui Shannon a definit canalele de comunicare și a arătat cum să le atribuie o capacitate, nu numai în sensul teoretic în care nu era prezentă nicio interferență sau zgomot, ci și în cazurile practice în care canalele reale erau supuse zgomotului real. Shannon a produs o formulă care a arătat cum lățimea de bandă a unui canal (adică capacitatea sa teoretică de semnal) și raportul semnal-zgomot (o măsură a interferenței) i-au afectat capacitatea de a transporta semnale. Procedând astfel, el a putut sugera strategii pentru maximizarea capacității unui anumit canal și a arătat limitele a ceea ce era posibil cu o anumită tehnologie. Acest lucru a fost de mare utilitate pentru ingineri, care s-au putut concentra ulterior asupra cazurilor individuale și au înțeles compromisurile specifice implicate.

Shannon a făcut, de asemenea, descoperirea uimitoare că, chiar și în prezența zgomotului, este întotdeauna posibilă transmiterea semnalelor în mod arbitrar aproape de capacitatea teoretică a canalului. Această descoperire i-a inspirat pe ingineri să caute tehnici practice pentru a îmbunătăți performanța în transmisiile de semnal care erau departe de a fi optime. Opera lui Shannon distinge în mod clar între câștigurile care ar putea fi realizate prin adoptarea unei scheme de codificare diferite de câștigurile care ar putea fi realizate numai prin modificarea sistemului de comunicare în sine. Înainte de Shannon, inginerii nu aveau un mod sistematic de a analiza și rezolva astfel de probleme.lucrarea de pionierat a lui Shannon a prezentat astfel multe idei cheie care au ghidat inginerii și oamenii de știință de atunci. Deși teoria informației nu clarifică întotdeauna exact cum să obțină rezultate specifice, oamenii știu acum ce întrebări merită adresate și se pot concentra pe domenii care vor produce cel mai mare randament. Ei știu, de asemenea, ce fel de întrebări sunt greu de răspuns și domeniile în care nu este probabil să fie un profit mare pentru cantitatea de efort cheltuit.

Din anii 1940 și ’50 principiile teoriei informației clasice au fost aplicate în multe domenii. Secțiunea Aplicații ale teoriei informației analizează realizările nu numai în domenii precum telecomunicațiile, cum ar fi compresia datelor și corectarea erorilor, ci și în disciplinele separate ale fiziologiei, lingvisticii și fizicii. Într-adevăr, chiar și pe vremea lui Shannon au apărut multe cărți și articole care discutau relația dintre teoria informației și domenii precum arta și afacerile. Din păcate, multe dintre aceste relații pretinse aveau o valoare îndoielnică. Eforturile de a lega teoria informației de fiecare problemă și de fiecare domeniu au fost destul de deranjante pentru Shannon însuși, încât într—un editorial din 1956 intitulat „The Bandwagon” a emis următorul avertisment:

eu personal cred că multe dintre conceptele teoriei informației se vor dovedi utile în aceste alte domenii—și, într-adevăr, unele rezultate sunt deja destul de promițătoare-dar stabilirea unor astfel de aplicații nu este o chestiune banală de traducere a cuvintelor într-un domeniu nou, ci mai degrabă procesul lent și obositor de verificare experimentală.

cu propriile cuvinte ale lui Shannon în minte, putem revizui acum principiile centrale ale teoriei informației clasice.