역사적 배경이

관심 개념에서의 정보의 성장에서 직접 만들의 전신 전화가 있습니다. 1844 년 미국의 발명가 Samuel F.B.Morse 는 워싱턴 DC 와 메릴랜드 볼티모어 사이에 전신선을 건설했습니다. 모스 발생하는 많은 전기 문제점을 때 그는 전송 신호를 통해 묻혀 전송선,하지만 알 수 없는 그 발생하는 몇몇 문제 때 라인 중단되었다. 이것은 많은 저명한 물리학 자,특히 스코틀랜드 인 윌리엄 톰슨(남작 켈빈)의 관심을 끌었습니다. 비슷한 방식으로,본 발명의 전화기에서는 1875 년 알렉산더 그레이엄 벨리고 그 이후의 확산에 매료한 과학적 공증인,같은 앙리 Poincaré,Oliver 헤비 사이드,마이클 Pupin,문제와 관련된 신호를 전송을 통해 와이어입니다. 많은 그들의 작품을 사용하여 수행하 푸리에 해석 기법 설명은 이 문서에서는,하지만 이러한 모든 경우에 있어서 분석되었 해결하기 위해 최선을 다하고 실질적인 엔지니어링 문제의 통신 시스템입니다.

정식의 연구 정보를 이론을 시작하지 않을 때까지 1924,해 Nyquist,연구원 Bell 연구소,게시된”이라는 제목의 논문정에 영향을 미치는 요인 텔레그래프 속도입니다.”Nyquist 는 것을 깨달았 커뮤니케이션 채널을 했 최대 데이터 전송 속도,그리고 그는 공식을 유도 계산을 위한 이러한 요금에는 유한 대역폭을 소음 채널이 있습니다. 다른 개척했 Nyquist 의 동료 R.L.V.Hartley,누구의 종이”정보의 전송”(1928)설립한 첫 번째 수학적 기초에 대한 정보를 이론이다.

현대 정보 이론의 진정한 탄생은 1948 년 클로드 섀넌(Claude Shannon)의”A Mathematical Theory of Communication”의 Bell System Technical Journal 에 게재 된 것으로 추적 할 수 있습니다. 의 주요 단계에서는 Shannon 의 작품을 자신의 실현하기 위해,이론,통신 신호를 처리해야에 격리는 의미에서의 메시지를 전달하십시오. 이 견해는 의미가 필수적인 역할을하는 정보의 일반적인 개념과 날카로운 대조를 이룹니다. 섀넌은 또한 신호에 의해 전달되는 지식의 양이 메시지의 크기와 직접적으로 관련이 없다는 것을 깨달았습니다. 유명한 그림이 구별은 통신이 프랑스의 소설가 빅토르 위고의 게시자는 다음의 출판 Les 힘겨움에서 1862. 휴고는 자신의 출판사에게 단지 기호”와 카드를 보내?”. 그 대가로 그는 단지 기호”와 카드를 받았다!”. 컨텍스트 내에서의 휴고의 관계를 자신의 게시자와 공공 이러한 짧은 메시지와 함께로드 의미를 부족한 상황,이러한 메시지는 의미가 없습니다. 마찬가지로,오랜 완료 메시지에 완벽한 프랑스의 것 전달하는 작은 유용한 지식하는 사람이 이해할 수 있습니다.

섀넌 따라서 현명하게 실현하는 데 유용한 이론의 정보를 먼저 해야에 집중하는 문제와 관련된 메시지를 전송 및 수신을,그리고 그것을 떠나야하는 것과 관련된 질문에 어떤 본질적인 의미의 메시지로 알려진—의미 문제에 대한 후할 수 있습니다. 는 경우에 분명히 기술적인 문제를 해결할 수없는 경우 메시지가 전송되지 않을 수 있다는 올바르게 다음의 의미는 문제 가능성이 이제까지 해결해야 할 만족. 따라서 기술적 인 문제를 해결하는 것이 신뢰할 수있는 통신 시스템을 개발하는 첫 번째 단계였습니다.

Shannon 이 Bell Laboratories 에서 근무한 것은 우연이 아닙니다. 그의 작업에 대한 실질적인 자극은 신뢰할 수있는 전화 시스템을 만드는 데 직면 한 문제였습니다. 중요한 질문을 했다는 응답의 초기에는 원거리 통신었는 최상의 방법을 극대화하는 물리적 식물에서 특히 전송하는 방법의 최대 개수를 통화를 통해 기존의 케이블을 답니다. Shannon 의 작업 이전에는 최대 활용도를 달성하기위한 요소가 명확하게 이해되지 않았습니다. 섀넌의 작업 정의 커뮤니케이션 채널을 보여 할당하는 방법 용량,그 뿐만 아니라 이론적인 의미는 방해 없음,또는 소음은 있었지만에서도 실용적인 경우는 실제 채널을 받게 되었리에 있습니다. Shannon 생산하는 수식이 보여주는 대역폭의 채널은(즉,그 이론적인 신호 수용량)그리고 그 신호 대 노이즈 비율(측정 간섭)영향을 받는 용량 수행하는 신호가 있습니다. 일에 그래서 그는 할 수 있었다 제안하는 전략을 극대화하기 위한 용량의 채널 및 보였다의 한계를 무엇으로 가능한 지정된 기술입니다. 이는 엔지니어에게 큰 유용성이었으며,그 후 개별 사례에 초점을 맞추고 관련된 특정 절충안을 이해할 수있었습니다.

섀넌 또한 놀라운 발견,의 존재도 소음,그것은 항상 가능하 신호를 전송하는 임의로운 이론적인 채널 용량입니다. 이 발견은 엔지니어들이 최적과는 거리가 먼 신호 전송에서 성능을 향상시키는 실용적인 기술을 찾도록 고무 시켰습니다. 섀넌의 일을 명확하게 구분 사이에 이득이 될 수 있는 것을 깨달았을 채택하여 다른 인코딩 방식에서 얻을 수 있다는 것을 깨달았을 변경하여 통신 시스템 자체입니다. 섀넌 이전에 엔지니어들은 그러한 문제를 분석하고 해결하는 체계적인 방법이 부족했습니다.

Shannon 의 선구적인 작업은 그 이후로 엔지니어와 과학자들을 인도 한 많은 핵심 아이디어를 제시했습니다. 비록 정보를 이론되지 않은 항상 명확한 방법을 정확하게 원하는 결과를 얻기 위해,사람들은 지금 알고있는 질문 가치가 있는 요청에만 집중할 수 있습는 영역을 얻을 것입니다 가장 높은 반환합니다. 그들도 알고있는 종류의 질문에 대답하기 어려운 지역에서는 없이 될 가능성이 큰 반환에 대한 노력의 양을 팽창.

1940 년대와 50 년대부터 고전 정보 이론의 원리는 많은 분야에 적용되었습니다. 섹션 응용 프로그램의 정보이론 조사 성과 뿐만 아니라 이러한 지역에서 통신으로 데이터 압축 및 오류정정하지만 또한 별도 분야의 생리학,언어학,물리학이다. 실제로 Shannon 의 날에도 정보 이론과 예술 및 비즈니스와 같은 영역 간의 관계를 논의한 많은 책과 기사가 나타났습니다. 불행히도,이러한 사칭 된 관계의 대부분은 모호한 가치가있었습니다. 의 노력을 링크한 정보를 이론하는 모든 문제와 모든 지역을 방해 충분히 Shannon 자신에 1956 편집”악대차”그는 그 다음과 같은 경고:

나 개인적으로 믿는 여러 개념의 정보이론 유용한 증명에서 이러한 다른 필하고,참으로, 어떤 결과를 이미 매우 유망한—그러나 구축한 응용 프로그램이 아닌 사소한 문제의 단어를 번역하여 새로운 도메인이지만,오히려 느리게 지루한 과정의 가설과 실험적 검증이 있습니다.

와 샤논의 자신의 말을 마음에 우리는 이제를 검토 중앙 원리의 고아한 정보를 이론이다.