Articles

Informationstheorie

by admin

Historischer Hintergrund

Das Interesse am Konzept der Information wuchs direkt aus der Schaffung des Telegraphen und des Telefons. 1844 baute der amerikanische Erfinder Samuel F.B. Morse eine Telegrafenleitung zwischen Washington, D.C., und Baltimore, Maryland. Morse stieß auf viele elektrische Probleme, wenn er Signale durch vergrabene Übertragungsleitungen schickte, aber unerklärlicherweise stieß er auf weniger Probleme, wenn die Leitungen an Masten aufgehängt waren. Dies zog die Aufmerksamkeit vieler angesehener Physiker auf sich, vor allem des Schotten William Thomson (Baron Kelvin). In ähnlicher Weise zog die Erfindung des Telefons im Jahr 1875 durch Alexander Graham Bell und seine anschließende Verbreitung weitere wissenschaftliche Notare wie Henri Poincaré, Oliver Heaviside und Michael Pupin zu den Problemen, die mit der Übertragung von Signalen über Drähte verbunden waren. Ein Großteil ihrer Arbeit wurde mit der Fourier-Analyse durchgeführt, einer Technik, die später in diesem Artikel beschrieben wird, aber in all diesen Fällen widmete sich die Analyse der Lösung der praktischen technischen Probleme von Kommunikationssystemen.Das formale Studium der Informationstheorie begann erst 1924, als Harry Nyquist, ein Forscher an den Bell Laboratories, ein Papier mit dem Titel „Bestimmte Faktoren, die die Telegraphengeschwindigkeit beeinflussen“ veröffentlichte.“ Nyquist erkannte, dass Kommunikationskanäle maximale Datenübertragungsraten hatten, und er leitete eine Formel zur Berechnung dieser Raten in geräuschlosen Kanälen mit endlicher Bandbreite ab. Ein weiterer Pionier war Nyquists Kollege R.V.L. Hartley, dessen Arbeit „Transmission of Information“ (1928) die ersten mathematischen Grundlagen für die Informationstheorie legte.Die eigentliche Geburt der modernen Informationstheorie lässt sich auf die Veröffentlichung von Claude Shannons „A Mathematical Theory of Communication“ im Bell System Technical Journal im Jahr 1948 zurückführen. Ein wichtiger Schritt in Shannons Arbeit war seine Erkenntnis, dass Kommunikationssignale isoliert von der Bedeutung der von ihnen übertragenen Nachrichten behandelt werden müssen, um eine Theorie zu haben. Diese Sichtweise steht in scharfem Kontrast zur gängigen Vorstellung von Information, in der Bedeutung eine wesentliche Rolle spielt. Shannon erkannte auch, dass die Menge an Wissen, die durch ein Signal vermittelt wird, nicht direkt mit der Größe der Nachricht zusammenhängt. Eine berühmte Illustration dieser Unterscheidung ist die Korrespondenz zwischen dem französischen Schriftsteller Victor Hugo und seinem Verleger nach der Veröffentlichung von Les Misérables im Jahr 1862. Hugo schickte seinem Verleger eine Karte mit dem Symbol „?”. Im Gegenzug erhielt er eine Karte mit nur dem Symbol „!”. Im Kontext von Hugos Beziehungen zu seinem Verleger und der Öffentlichkeit waren diese kurzen Botschaften mit Bedeutung geladen; Fehlt ein solcher Kontext, sind diese Botschaften bedeutungslos. In ähnlicher Weise würde eine lange, vollständige Nachricht in perfektem Französisch jemandem, der nur Englisch verstehen konnte, wenig nützliches Wissen vermitteln.

Holen Sie sich ein Britannica Premium-Abonnement und erhalten Sie Zugang zu exklusiven Inhalten. Shannon erkannte daher mit Bedacht, dass sich eine nützliche Informationstheorie zunächst auf die Probleme konzentrieren müsste, die mit dem Senden und Empfangen von Nachrichten verbunden sind, und dass sie Fragen zu einer intrinsischen Bedeutung einer Nachricht — bekannt als semantisches Problem — für spätere Ermittler hinterlassen müsste. Wenn das technische Problem nicht gelöst werden konnte — das heißt, wenn eine Nachricht nicht korrekt übertragen werden konnte —, dann war das semantische Problem wahrscheinlich nie zufriedenstellend gelöst. Die Lösung des technischen Problems war daher der erste Schritt zur Entwicklung eines zuverlässigen Kommunikationssystems.

Es ist kein Zufall, dass Shannon für Bell Laboratories gearbeitet hat. Die praktischen Impulse für seine Arbeit waren die Probleme bei der Schaffung eines zuverlässigen Telefonsystems. Eine Schlüsselfrage, die in den frühen Tagen der Telekommunikation beantwortet werden musste, war, wie die physische Anlage am besten maximiert werden kann — insbesondere, wie die maximale Anzahl von Telefongesprächen über vorhandene Kabel übertragen werden kann. Vor Shannons Arbeit waren die Faktoren für die maximale Auslastung nicht klar verstanden. Shannons Arbeit definierte Kommunikationskanäle und zeigte, wie man ihnen eine Kapazität zuweist, nicht nur im theoretischen Sinne, wo keine Interferenz oder Rauschen vorhanden war, sondern auch in praktischen Fällen, in denen echte Kanäle echtem Rauschen ausgesetzt waren. Shannon erstellte eine Formel, die zeigte, wie sich die Bandbreite eines Kanals (dh seine theoretische Signalkapazität) und sein Signal-Rausch-Verhältnis (ein Maß für Interferenz) auf seine Fähigkeit zur Signalübertragung auswirkten. Dabei konnte er Strategien zur Maximierung der Kapazität eines bestimmten Kanals vorschlagen und die Grenzen dessen aufzeigen, was mit einer bestimmten Technologie möglich war. Dies war von großem Nutzen für Ingenieure, die sich danach auf Einzelfälle konzentrieren und die spezifischen Kompromisse verstehen konnten.

Shannon machte auch die verblüffende Entdeckung, dass es selbst bei Rauschen immer möglich ist, Signale beliebig nahe an der theoretischen Kanalkapazität zu übertragen. Diese Entdeckung inspirierte Ingenieure, nach praktischen Techniken zu suchen, um die Leistung bei Signalübertragungen zu verbessern, die alles andere als optimal waren. Shannons Arbeit unterschied deutlich zwischen Gewinnen, die durch die Übernahme eines anderen Codierungsschemas realisiert werden konnten, und Gewinnen, die nur durch Veränderung des Kommunikationssystems selbst realisiert werden konnten. Vor Shannon fehlte den Ingenieuren eine systematische Methode zur Analyse und Lösung solcher Probleme.

Shannons Pionierarbeit präsentierte somit viele Schlüsselideen, die Ingenieure und Wissenschaftler seitdem leiten. Obwohl die Informationstheorie nicht immer genau erklärt, wie bestimmte Ergebnisse erzielt werden können, wissen die Menschen jetzt, welche Fragen es wert sind, gestellt zu werden, und können sich auf Bereiche konzentrieren, die die höchste Rendite erzielen. Sie wissen auch, welche Arten von Fragen schwer zu beantworten sind und in welchen Bereichen der Aufwand wahrscheinlich keine große Rendite bringt.

Seit den 1940er und 50er Jahren werden die Prinzipien der klassischen Informationstheorie in vielen Bereichen angewendet. Die Sektion Anwendungen der Informationstheorie untersucht Leistungen nicht nur in Bereichen der Telekommunikation wie Datenkompression und Fehlerkorrektur, sondern auch in den einzelnen Disziplinen der Physiologie, Linguistik und Physik. Tatsächlich erschienen sogar zu Shannons Zeiten viele Bücher und Artikel, die die Beziehung zwischen Informationstheorie und Bereichen wie Kunst und Wirtschaft diskutierten. Unglücklicherweise, Viele dieser angeblichen Beziehungen waren von zweifelhaftem Wert. Die Bemühungen, die Informationstheorie mit jedem Problem und jedem Bereich zu verknüpfen, waren für Shannon selbst beunruhigend genug, dass er 1956 in einem Leitartikel mit dem Titel „The Bandwagon“ die folgende Warnung aussprach:

Ich persönlich glaube, dass sich viele der Konzepte der Informationstheorie in diesen anderen Bereichen als nützlich erweisen werden — und tatsächlich sind einige Ergebnisse bereits recht vielversprechend —, aber die Etablierung solcher Anwendungen ist keine triviale Angelegenheit der Übersetzung von Wörtern in eine neue Domäne, sondern der langsame, langwierige Prozess der Hypothese experimentelle Verifikation.

Mit Shannons eigenen Worten können wir nun die zentralen Prinzipien der klassischen Informationstheorie überprüfen.