teoria da Informação
fundo histórico
interesse no conceito de informação cresceu diretamente a partir da criação do telégrafo e telefone. Em 1844, o inventor americano Samuel F. B. Morse construiu uma linha telegráfica entre Washington, D. C. e Baltimore, Maryland. Morse encontrou muitos problemas elétricos quando Enviou sinais através de linhas de transmissão enterradas, mas inexplicavelmente ele encontrou menos problemas quando as linhas foram suspensas em postes. Isso atraiu a atenção de muitos físicos distintos, mais notavelmente o escocês William Thomson (Barão Kelvin). De forma similar, a invenção do telefone em 1875 por Alexander Graham Bell e sua subsequente proliferação atraiu notários científicos, como Henri Poincaré, Oliver Heaviside e Michael Pupin, para os problemas associados com a transmissão de sinais por fios. Grande parte de seu trabalho foi feito usando a análise de Fourier, uma técnica descrita mais tarde neste artigo, mas em todos esses casos a análise foi dedicada a resolver os problemas práticos de engenharia dos sistemas de comunicação.
O estudo formal da teoria da informação não começou até 1924, quando Harry Nyquist, um pesquisador dos Laboratórios Bell, publicou um artigo intitulado “certos fatores que afetam a velocidade do Telégrafo. Nyquist percebeu que os canais de comunicação tinham taxas máximas de transmissão de dados, e ele derivou uma fórmula para calcular essas taxas em canais finitos sem ruído de largura de banda. Outro pioneiro foi o colega de Nyquist R. V. L. Hartley, cujo artigo “Transmission of Information” (1928) estabeleceu as primeiras bases matemáticas para a teoria da informação.
O nascimento real da teoria da informação moderna pode ser rastreado até a publicação em 1948 de “a Mathematical Theory of Communication”, de Claude Shannon, no Bell System Technical Journal. Um passo fundamental no trabalho de Shannon foi a sua compreensão de que, para ter uma teoria, os sinais de comunicação devem ser tratados isoladamente do significado das mensagens que transmitem. Este ponto de vista contrasta fortemente com a concepção comum da informação, na qual o significado tem um papel essencial. Shannon também percebeu que a quantidade de conhecimento transmitida por um sinal não está diretamente relacionada com o tamanho da mensagem. Uma ilustração famosa desta distinção é a correspondência entre o romancista francês Victor Hugo e seu editor após a publicação dos miseráveis em 1862. Hugo enviou ao editor um cartão com apenas o símbolo”?”. Em troca, ele recebeu um cartão com apenas o símbolo”!”. No contexto das relações de Hugo com seu editor e o público, essas mensagens curtas foram carregadas de significado; sem tal contexto, essas mensagens não têm sentido. Da mesma forma, uma longa e completa mensagem em francês perfeito transmitiria pouco conhecimento útil para alguém que poderia entender apenas Inglês.
Shannon, assim, sabiamente percebeu que uma teoria útil de informações teria, primeiro, de se concentrar sobre os problemas relacionados com o envio e recebimento de mensagens, e ele teria que deixar de perguntas que envolvem qualquer significado intrínseco de uma mensagem—conhecido como o problema semântico—para mais tarde os pesquisadores. É evidente que, se o problema técnico não pudesse ser resolvido—isto é, se uma mensagem não pudesse ser transmitida correctamente—, então o problema semântico nunca poderia ser resolvido satisfatoriamente. A resolução do problema técnico foi, portanto, o primeiro passo no desenvolvimento de um sistema de comunicação fiável.não foi por acaso que Shannon trabalhou para Bell Laboratories. Os estímulos práticos para seu trabalho foram os problemas enfrentados na criação de um sistema telefônico confiável. Uma questão fundamental que teve de ser respondida nos primeiros dias de Telecomunicação foi a melhor maneira de maximizar a planta física—em particular, como transmitir o número máximo de conversas telefônicas sobre os cabos existentes. Antes do trabalho de Shannon, os fatores para alcançar a máxima utilização não foram claramente compreendidos. O trabalho de Shannon definiu canais de comunicação e mostrou como atribuir uma capacidade a eles, não só no sentido teórico onde nenhuma interferência, ou ruído, estava presente, mas também em casos práticos onde canais reais foram sujeitos a ruído real. Shannon produziu uma fórmula que mostrou como a largura de banda de um canal (ou seja, sua capacidade teórica de sinal) e sua relação sinal-ruído (uma medida de interferência) afetou sua capacidade de transportar sinais. Ao fazê-lo, ele foi capaz de sugerir estratégias para maximizar a capacidade de um determinado canal e mostrou os limites do que era possível com uma determinada tecnologia. Isto foi de grande utilidade para os engenheiros, que poderiam concentrar-se posteriormente em casos individuais e compreender os compromissos específicos envolvidos.
Shannon também fez a descoberta surpreendente de que, mesmo na presença de ruído, é sempre possível transmitir sinais arbitrariamente perto da capacidade teórica do canal. Esta descoberta inspirou os engenheiros a procurar técnicas práticas para melhorar o desempenho nas transmissões de sinais que estavam longe de ser ótimas. O trabalho de Shannon claramente distinguiu entre ganhos que poderiam ser realizados adotando um esquema de codificação diferente de ganhos que poderiam ser realizados apenas alterando o próprio sistema de comunicação. Antes de Shannon, os engenheiros não tinham uma forma sistemática de analisar e resolver tais problemas.o trabalho pioneiro de Shannon apresentou muitas ideias-chave que têm guiado engenheiros e cientistas desde então. Embora a teoria da Informação nem sempre deixe claro exatamente como alcançar resultados específicos, as pessoas agora sabem que perguntas valem a pena fazer e podem se concentrar em áreas que irão produzir o maior retorno. Também sabem que tipo de perguntas são difíceis de responder e quais as áreas em que não é provável que haja um grande retorno para a quantidade de esforço gasto.
desde os anos 40 e 50 os princípios da teoria da informação clássica têm sido aplicados a muitos campos. The section Applications of information theory surveys achievements not only in such areas of telecommunications as data compression and error correction but also in the separate disciplines of physiology, linguistics, and physics. Na verdade, mesmo no dia de Shannon muitos livros e artigos apareceram que discutiram a relação entre a teoria da informação e áreas como arte e Negócios. Infelizmente, muitas destas pretensas relações eram de valor duvidoso. Esforços para vincular a teoria da informação para cada problema e cada área foram perturbador o suficiente para Shannon-se que em 1956 editorial intitulado “A Onda”, ele emitiu o seguinte aviso:
eu, pessoalmente, acredito que muitos dos conceitos da teoria da informação vai ser útil nesses outros campos—e, de fato, alguns resultados já são bastante promissor, mas o estabelecimento de tais aplicações não é uma questão trivial de traduzir palavras para um novo domínio, mas, sim, o lento processo tedioso de hipótese e verificação experimental.
com as próprias palavras de Shannon em mente, podemos agora rever os princípios centrais da teoria da informação clássica.
Leave a Reply