tło historyczne

zainteresowanie pojęciem informacji wzrosło bezpośrednio z powstania telegrafu i telefonu. W 1844 roku amerykański wynalazca Samuel F. B. Morse zbudował linię telegraficzną między Waszyngtonem a Baltimore w stanie Maryland. Morse napotkał wiele problemów elektrycznych, gdy wysyłał sygnały przez Zakopane linie przesyłowe, ale w niewytłumaczalny sposób napotkał mniej problemów, gdy linie były zawieszone na słupach. Przyciągnęło to uwagę wielu wybitnych fizyków, w szczególności Szkota Williama Thomsona (Barona Kelvina). W podobny sposób wynalezienie telefonu w 1875 roku przez Alexandra Grahama Bella i jego późniejsza proliferacja przyciągnęły kolejnych notariuszy naukowych, takich jak Henri Poincaré, Oliver Heaviside i Michael Pupin, do problemów związanych z transmisją sygnałów przez przewody. Większość ich pracy została wykonana przy użyciu analizy Fouriera, techniki opisanej później w tym artykule, ale we wszystkich tych przypadkach analiza była poświęcona rozwiązywaniu praktycznych problemów inżynieryjnych systemów komunikacyjnych.

formalne badania nad teorią informacji rozpoczęły się dopiero w 1924 roku, kiedy Harry Nyquist, badacz z Bell Laboratories, opublikował pracę zatytułowaną „pewne czynniki wpływające na prędkość telegrafu.”Nyquist zdał sobie sprawę, że kanały komunikacyjne mają maksymalne Prędkości Transmisji Danych i opracował wzór na obliczanie tych prędkości w skończonych kanałach bezgłośnych. Kolejnym pionierem był kolega Nyquista R. V. L. Hartley, którego praca” Transmission of Information ” (1928) ustanowiła pierwsze matematyczne Podstawy teorii informacji.

prawdziwe narodziny nowoczesnej teorii informacji można przypisać publikacji w 1948 roku Claude ’ a Shannona „A Mathematical Theory of Communication” W Bell System Technical Journal. Kluczowym krokiem w pracy Shannona było uświadomienie sobie, że aby mieć teorię, sygnały komunikacyjne muszą być traktowane w oderwaniu od znaczenia przekazywanych przez nie Wiadomości. Pogląd ten wyraźnie kontrastuje z powszechną koncepcją informacji, w której znaczenie odgrywa zasadniczą rolę. Shannon zdał sobie również sprawę, że ilość wiedzy przekazywanej przez sygnał nie jest bezpośrednio związana z wielkością wiadomości. Słynną ilustracją tego rozróżnienia jest korespondencja między francuskim powieściopisarzem Victorem Hugo a jego wydawcą po publikacji Les Misérables w 1862 roku. Hugo wysłał wydawcy kartkę z samym symbolem „?”. W zamian otrzymał kartkę z samym symbolem”!”. W kontekście relacji Hugo z wydawcą i publicznością, te krótkie przekazy były naszpikowane znaczeniem; bez takiego kontekstu nie mają znaczenia. Podobnie, długa, kompletna wiadomość w doskonałym języku francuskim przekazałaby niewiele przydatnej wiedzy komuś, kto rozumie tylko angielski.

Shannon w ten sposób mądrze zdał sobie sprawę, że użyteczna teoria informacji musiałaby najpierw skoncentrować się na problemach związanych z wysyłaniem i odbieraniem wiadomości, i musiałaby pozostawić pytania dotyczące jakiegokolwiek wewnętrznego znaczenia wiadomości—znanego jako problem semantyczny—dla późniejszych badaczy. Oczywiście, jeśli problem techniczny nie mógł zostać rozwiązany—to znaczy, jeśli wiadomość nie mogła zostać poprawnie przesłana—problem semantyczny prawdopodobnie nigdy nie został rozwiązany w sposób zadowalający. Rozwiązanie problemu technicznego było zatem pierwszym krokiem do opracowania niezawodnego systemu komunikacji.

to nie przypadek, że Shannon pracowała dla Bell Laboratories. Praktycznym bodźcem do jego pracy były problemy związane z tworzeniem niezawodnego systemu telefonicznego. Kluczowym pytaniem, na które trzeba było odpowiedzieć w pierwszych dniach telekomunikacji, było to, jak najlepiej zmaksymalizować fizyczną instalację-w szczególności, jak przesyłać maksymalną liczbę rozmów telefonicznych za pomocą istniejących kabli. Przed pracą Shannona czynniki osiągnięcia maksymalnego wykorzystania nie były jasno rozumiane. Praca Shannona zdefiniowała kanały komunikacyjne i pokazała, jak przypisać im zdolność, nie tylko w sensie teoretycznym, w którym nie było zakłóceń lub szumu, ale także w praktycznych przypadkach, w których rzeczywiste kanały były poddawane rzeczywistemu hałasowi. Shannon stworzył wzór, który pokazał, w jaki sposób szerokość pasma kanału (tj. jego teoretyczna pojemność sygnału) i jego stosunek sygnału do szumu (miara zakłóceń) wpłynęły na jego zdolność do przenoszenia sygnałów. W ten sposób był w stanie zaproponować strategie maksymalizacji przepustowości danego kanału i pokazać granice tego, co jest możliwe z daną technologią. Było to bardzo przydatne dla inżynierów, którzy mogli skupić się na indywidualnych przypadkach i zrozumieć konkretne kompromisy.

Shannon dokonał również zaskakującego odkrycia, że nawet w obecności szumu zawsze można transmitować sygnały arbitralnie zbliżone do teoretycznej pojemności kanału. Odkrycie to zainspirowało inżynierów do poszukiwania praktycznych technik poprawiających wydajność transmisji sygnałów, które nie były optymalne. Praca Shannona wyraźnie odróżniała zyski, które można było zrealizować, przyjmując inny schemat kodowania od zysków, które można było zrealizować tylko poprzez zmianę samego systemu komunikacji. Przed Shannonem inżynierom brakowało systematycznego sposobu analizowania i rozwiązywania takich problemów.

pionierskie prace Shannona prezentowały wiele kluczowych pomysłów, które od tego czasu przyświecały inżynierom i naukowcom. Chociaż teoria informacji nie zawsze dokładnie wyjaśnia, jak osiągnąć konkretne wyniki, ludzie teraz wiedzą, które pytania są warte zadawania i mogą skupić się na obszarach, które przyniosą najwyższy zwrot. Wiedzą również, na jakie pytania trudno odpowiedzieć, oraz w jakich obszarach prawdopodobnie nie będzie dużego zwrotu z nakładu pracy.

od lat 40.i 50. zasady klasycznej teorii informacji były stosowane w wielu dziedzinach. Sekcja zastosowania teorii informacji bada osiągnięcia nie tylko w takich dziedzinach telekomunikacji, jak kompresja danych i korekcja błędów, ale także w poszczególnych dyscyplinach fizjologii, lingwistyki i fizyki. Rzeczywiście, nawet w czasach Shannona pojawiło się wiele książek i artykułów, które omawiały związek między teorią informacji a dziedzinami takimi jak sztuka i biznes. Niestety, wiele z tych rzekomych związków miało wątpliwą wartość. Wysiłki mające na celu powiązanie teorii informacji z każdym problemem i każdym obszarem były na tyle niepokojące, że sam Shannon w 1956 r.wydał następujące ostrzeżenie:

osobiście wierzę, że wiele pojęć teorii informacji okaże się przydatnych w tych innych dziedzinach—i rzeczywiście, niektóre wyniki są już dość obiecujące—ale ustanowienie takich zastosowań nie jest trywialną sprawą tłumaczenia słów na nową dziedzinę, ale raczej powolnym, żmudnym procesem. hipoteza i weryfikacja eksperymentalna.

mając na uwadze własne słowa Shannona, możemy teraz przejrzeć główne zasady klasycznej teorii informacji.