Articles

Teoría de la información

Antecedentes históricos

El interés en el concepto de información creció directamente de la creación del telégrafo y el teléfono. En 1844, el inventor estadounidense Samuel F. B. Morse construyó una línea telegráfica entre Washington, D. C. y Baltimore, Maryland. Morse se encontró con muchos problemas eléctricos cuando enviaba señales a través de líneas de transmisión enterradas, pero inexplicablemente se encontró con menos problemas cuando las líneas estaban suspendidas en postes. Esto atrajo la atención de muchos físicos distinguidos, sobre todo el escocés William Thomson (Barón Kelvin). De manera similar, la invención del teléfono en 1875 por Alexander Graham Bell y su posterior proliferación atrajeron a más notarios científicos, como Henri Poincaré, Oliver Heaviside y Michael Pupin, a los problemas asociados con la transmisión de señales a través de cables. Gran parte de su trabajo se realizó utilizando el análisis de Fourier, una técnica descrita más adelante en este artículo, pero en todos estos casos el análisis se dedicó a resolver los problemas prácticos de ingeniería de los sistemas de comunicación.

El estudio formal de la teoría de la información no comenzó hasta 1924, cuando Harry Nyquist, un investigador de los Laboratorios Bell, publicó un artículo titulado «Ciertos factores que afectan la velocidad del telégrafo.»Nyquist se dio cuenta de que los canales de comunicación tenían velocidades de transmisión de datos máximas, y derivó una fórmula para calcular estas velocidades en canales silenciosos de ancho de banda finito. Otro pionero fue el colega de Nyquist, R. V. L. Hartley, cuyo artículo» Transmission of Information » (1928) estableció los primeros fundamentos matemáticos para la teoría de la información.

El verdadero nacimiento de la teoría de la información moderna se remonta a la publicación en 1948 de Claude Shannon «A Mathematical Theory of Communication» en el Bell System Technical Journal. Un paso clave en el trabajo de Shannon fue su comprensión de que, para tener una teoría, las señales de comunicación deben tratarse de forma aislada del significado de los mensajes que transmiten. Este punto de vista está en marcado contraste con la concepción común de la información, en la que el significado tiene un papel esencial. Shannon también se dio cuenta de que la cantidad de conocimiento transmitida por una señal no está directamente relacionada con el tamaño del mensaje. Una famosa ilustración de esta distinción es la correspondencia entre el novelista francés Victor Hugo y su editor tras la publicación de Les Misérables en 1862. Hugo envió a su editor una tarjeta con el símbolo»?”. A cambio, recibió una tarjeta con solo el símbolo»!”. En el contexto de las relaciones de Hugo con su editor y el público, estos mensajes cortos estaban cargados de significado; a falta de tal contexto, estos mensajes no tienen sentido. De manera similar, un mensaje largo y completo en francés perfecto transmitiría poco conocimiento útil a alguien que solo pudiera entender inglés.

Obtenga una suscripción Premium de Britannica y obtenga acceso a contenido exclusivo. Por lo tanto, Shannon sabiamente se dio cuenta de que una teoría útil de la información primero tendría que concentrarse en los problemas asociados con el envío y la recepción de mensajes, y tendría que dejar preguntas que involucren cualquier significado intrínseco de un mensaje, conocido como el problema semántico, para investigadores posteriores. Es evidente que si el problema técnico no se podía resolver, es decir, si un mensaje no se podía transmitir correctamente, el problema semántico probablemente no se resolvería satisfactoriamente. Por lo tanto, la solución del problema técnico fue el primer paso para desarrollar un sistema de comunicación fiable.

No es casualidad que Shannon trabajara para los Laboratorios Bell. Los estímulos prácticos para su trabajo fueron los problemas a los que se enfrentaba para crear un sistema telefónico confiable. Una pregunta clave a la que había que responder en los primeros días de las telecomunicaciones era la mejor manera de maximizar la planta física, en particular, cómo transmitir el máximo número de conversaciones telefónicas a través de cables existentes. Antes del trabajo de Shannon, los factores para lograr la máxima utilización no se entendían claramente. El trabajo de Shannon definió los canales de comunicación y mostró cómo asignarles una capacidad, no solo en el sentido teórico donde no había interferencia o ruido, sino también en casos prácticos donde los canales reales estaban sujetos a ruido real. Shannon produjo una fórmula que mostraba cómo el ancho de banda de un canal (es decir, su capacidad de señal teórica) y su relación señal-ruido (una medida de interferencia) afectaban su capacidad para transportar señales. Al hacerlo, pudo sugerir estrategias para maximizar la capacidad de un canal dado y mostró los límites de lo que era posible con una tecnología dada. Esto fue de gran utilidad para los ingenieros, que a partir de entonces podían centrarse en casos individuales y comprender las compensaciones específicas involucradas.

Shannon también hizo el sorprendente descubrimiento de que, incluso en presencia de ruido, siempre es posible transmitir señales arbitrariamente cercanas a la capacidad teórica del canal. Este descubrimiento inspiró a los ingenieros a buscar técnicas prácticas para mejorar el rendimiento en transmisiones de señales que distaban mucho de ser óptimas. El trabajo de Shannon distinguía claramente entre las ganancias que se podían obtener adoptando un esquema de codificación diferente de las ganancias que solo se podían obtener alterando el propio sistema de comunicación. Antes de Shannon, los ingenieros carecían de una forma sistemática de analizar y resolver tales problemas.

El trabajo pionero de Shannon presentó muchas ideas clave que han guiado a ingenieros y científicos desde entonces. Aunque la teoría de la información no siempre deja claro exactamente cómo lograr resultados específicos, la gente ahora sabe qué preguntas vale la pena hacer y puede centrarse en las áreas que producirán el mayor rendimiento. También saben qué tipo de preguntas son difíciles de responder y las áreas en las que no es probable que haya un gran rendimiento por la cantidad de esfuerzo invertido.

Desde los años 1940 y 50, los principios de la teoría de la información clásica se han aplicado a muchos campos. La sección Aplicaciones de la teoría de la información examina los logros no solo en áreas de telecomunicaciones como la compresión de datos y la corrección de errores, sino también en las disciplinas separadas de fisiología, lingüística y física. De hecho, incluso en la época de Shannon aparecieron muchos libros y artículos que discutían la relación entre la teoría de la información y áreas como el arte y los negocios. Desafortunadamente, muchas de estas supuestas relaciones tenían un valor dudoso. Los esfuerzos para vincular la teoría de la información con cada problema y cada área fueron lo suficientemente inquietantes para el propio Shannon que en un editorial de 1956 titulado «The Bandwagon» emitió la siguiente advertencia:

Personalmente creo que muchos de los conceptos de teoría de la información resultarán útiles en estos otros campos, y, de hecho, algunos resultados ya son bastante prometedores, pero el establecimiento de tales aplicaciones no es una cuestión trivial de traducir palabras a un nuevo dominio, sino más bien el lento y tedioso proceso de la hipótesis y verificación experimental.

Con las propias palabras de Shannon en mente, ahora podemos revisar los principios centrales de la teoría de la información clásica.