Contexte historique

L’intérêt pour le concept d’information est né directement de la création du télégraphe et du téléphone. En 1844, l’inventeur américain Samuel F.B. Morse construit une ligne télégraphique entre Washington, D.C. et Baltimore, Maryland. Morse a rencontré de nombreux problèmes électriques lorsqu’il envoyait des signaux à travers des lignes de transmission enterrées, mais inexplicablement, il a rencontré moins de problèmes lorsque les lignes étaient suspendues à des poteaux. Cela a attiré l’attention de nombreux physiciens distingués, notamment l’Écossais William Thomson (baron Kelvin). De la même manière, l’invention du téléphone en 1875 par Alexander Graham Bell et sa prolifération subséquente ont attiré d’autres notaires scientifiques, tels que Henri Poincaré, Oliver Heaviside et Michael Pupin, aux problèmes liés à la transmission de signaux par fils. Une grande partie de leur travail a été effectuée en utilisant l’analyse de Fourier, une technique décrite plus loin dans cet article, mais dans tous ces cas, l’analyse était dédiée à la résolution des problèmes d’ingénierie pratiques des systèmes de communication.

L’étude formelle de la théorie de l’information n’a commencé qu’en 1924, lorsque Harry Nyquist, chercheur aux Laboratoires Bell, a publié un article intitulé « Certains facteurs affectant la vitesse du télégraphe. »Nyquist s’est rendu compte que les canaux de communication avaient des taux de transmission de données maximaux, et il a dérivé une formule pour calculer ces taux dans des canaux silencieux à bande passante finie. Un autre pionnier était le collègue de Nyquist, R.V.L. Hartley, dont l’article « Transmission of Information” (1928) a établi les premières bases mathématiques de la théorie de l’information.

La véritable naissance de la théorie moderne de l’information remonte à la publication en 1948 de  » A Mathematical Theory of Communication ” de Claude Shannon dans le Bell System Technical Journal. Une étape clé dans le travail de Shannon a été sa prise de conscience que, pour avoir une théorie, les signaux de communication doivent être traités indépendamment de la signification des messages qu’ils transmettent. Ce point de vue contraste fortement avec la conception commune de l’information, dans laquelle le sens joue un rôle essentiel. Shannon a également réalisé que la quantité de connaissances véhiculées par un signal n’est pas directement liée à la taille du message. Une illustration célèbre de cette distinction est la correspondance entre le romancier français Victor Hugo et son éditeur à la suite de la publication des Misérables en 1862. Hugo a envoyé à son éditeur une carte avec juste le symbole « ?”. En retour, il a reçu une carte avec juste le symbole « !”. Dans le contexte des relations d’Hugo avec son éditeur et le public, ces messages courts étaient chargés de sens ; à défaut d’un tel contexte, ces messages sont dénués de sens. De même, un message long et complet dans un français parfait transmettrait peu de connaissances utiles à quelqu’un qui ne comprendrait que l’anglais.

Shannon a donc sagement réalisé qu’une théorie de l’information utile devrait d’abord se concentrer sur les problèmes associés à l’envoi et à la réception de messages, et qu’elle devrait laisser des questions impliquant toute signification intrinsèque d’un message — connu sous le nom de problème sémantique – pour les chercheurs ultérieurs. De toute évidence, si le problème technique ne pouvait pas être résolu — c’est—à-dire si un message ne pouvait pas être transmis correctement – alors le problème sémantique n’était probablement jamais résolu de manière satisfaisante. La résolution du problème technique était donc la première étape du développement d’un système de communication fiable.

Ce n’est pas un hasard si Shannon a travaillé pour les laboratoires Bell. Les stimuli pratiques de son travail étaient les problèmes rencontrés dans la création d’un système téléphonique fiable. Une question clé à laquelle il fallait répondre dans les premiers temps des télécommunications était la meilleure façon de maximiser l’installation physique — en particulier, comment transmettre le maximum de conversations téléphoniques sur des câbles existants. Avant les travaux de Shannon, les facteurs permettant d’atteindre une utilisation maximale n’étaient pas clairement compris. Les travaux de Shannon ont défini les canaux de communication et montré comment leur attribuer une capacité, non seulement au sens théorique où aucune interférence, ou bruit, n’était présent, mais aussi dans les cas pratiques où des canaux réels étaient soumis à un bruit réel. Shannon a produit une formule qui a montré comment la largeur de bande d’un canal (c’est-à-dire sa capacité théorique de signal) et son rapport signal sur bruit (une mesure d’interférence) affectaient sa capacité à transporter des signaux. Ce faisant, il a pu suggérer des stratégies pour maximiser la capacité d’un canal donné et a montré les limites de ce qui était possible avec une technologie donnée. Cela a été d’une grande utilité pour les ingénieurs, qui ont pu se concentrer ensuite sur des cas individuels et comprendre les compromis spécifiques impliqués.

Shannon a également fait la découverte surprenante que, même en présence de bruit, il est toujours possible de transmettre des signaux arbitrairement proches de la capacité théorique du canal. Cette découverte a incité les ingénieurs à rechercher des techniques pratiques pour améliorer les performances dans les transmissions de signaux qui étaient loin d’être optimales. Les travaux de Shannon distinguaient clairement les gains qui pouvaient être réalisés en adoptant un schéma de codage différent des gains qui ne pouvaient être réalisés qu’en modifiant le système de communication lui-même. Avant Shannon, les ingénieurs n’avaient pas de moyen systématique d’analyser et de résoudre de tels problèmes.

Le travail pionnier de Shannon a ainsi présenté de nombreuses idées clés qui ont guidé les ingénieurs et les scientifiques depuis. Bien que la théorie de l’information ne précise pas toujours exactement comment obtenir des résultats spécifiques, les gens savent maintenant quelles questions méritent d’être posées et peuvent se concentrer sur les domaines qui produiront le rendement le plus élevé. Ils savent également à quels types de questions il est difficile de répondre et dans quels domaines il est peu probable qu’il y ait un rendement important pour la quantité d’efforts dépensés.

Depuis les années 1940 et 50, les principes de la théorie classique de l’information ont été appliqués à de nombreux domaines. La section Applications de la théorie de l’information examine les réalisations non seulement dans des domaines des télécommunications tels que la compression de données et la correction d’erreurs, mais également dans les disciplines distinctes de la physiologie, de la linguistique et de la physique. En effet, même à l’époque de Shannon, de nombreux livres et articles sont apparus qui discutaient de la relation entre la théorie de l’information et des domaines tels que l’art et les affaires. Malheureusement, beaucoup de ces prétendues relations étaient d’une valeur douteuse. Les efforts pour relier la théorie de l’information à tous les problèmes et à tous les domaines étaient suffisamment troublants pour que Shannon lui—même émette l’avertissement suivant dans un éditorial de 1956 intitulé « The Bandwagon”:

Je pense personnellement que de nombreux concepts de la théorie de l’information se révéleront utiles dans ces autres domaines — et, en effet, certains résultats sont déjà très prometteurs -, mais l’établissement de telles applications n’est pas une question anodine de traduire des mots dans un nouveau domaine, mais plutôt le lent processus fastidieux d’hypothèse et vérification expérimentale.

Avec les propres mots de Shannon à l’esprit, nous pouvons maintenant passer en revue les principes centraux de la théorie de l’information classique.