===== TEORIA DA INFORMAÇÃO =====
A [[lexico:t:teoria-da-informacao:start|teoria da informação]] surgiu de certas dificuldades que a engenharia de telecomunicações estava encontrando. Em 1928, baseado em [[lexico:i:ideias:start|ideias]] do engenheiro eletrônico americano Nyquist apresentadas [[lexico:q:quatro:start|Quatro]] anos antes, R.V.L. Hartley publicou um artigo no Bell System Technical Journal sugerindo uma [[lexico:d:definicao:start|definição]] para "[[lexico:q:quantidade:start|quantidade]] de informação". Pouco depois desta [[lexico:e:epoca:start|época]], o matemático Norbert Wiener publicou uma [[lexico:s:serie:start|série]] de trabalhos, alguns integrados no [[lexico:e:esforco:start|esforço]] de [[lexico:g:guerra:start|guerra]] norte-americano, e que muito contribuíram para o [[lexico:d:desenvolvimento:start|desenvolvimento]] rigoroso e a definição de "quantidade de informação". Em 1948, Claude Shannon, engenheiro da companhia Bell, publicou a primeira [[lexico:e:exposicao:start|exposição]] completa do assunto, fazendo inclusive uma importante contribuição [[lexico:p:pessoal:start|pessoal]] — os teoremas que são conhecidos com seu [[lexico:n:nome:start|nome]].

Neste [[lexico:t:trabalho:start|trabalho]], intitulado A Mathematical Theory of Communication, Shannon define com certo rigor [[lexico:a:axiomatico:start|axiomático]] a [[lexico:n:nocao:start|noção]] de "quantidade de informação". Analisando o escoamento de "mensagens" através de um "[[lexico:c:canal:start|canal]]", Shannon foi levado a calcular a "[[lexico:c:capacidade:start|capacidade]] de um canal", ou seja, a taxa [[lexico:m:maxima:start|máxima]] de transmissão de informação que um canal comporta, na [[lexico:p:presenca:start|presença]] ou na [[lexico:a:ausencia:start|ausência]] de ruído. Shannon pôde então demonstrar alguns teoremas fundamentais a [[lexico:r:respeito:start|respeito]] de "codificações eficientes". Nestes teoremas afirma-se que, dada uma certa "[[lexico:f:fonte:start|fonte]]" e [[lexico:d:dado:start|dado]] certo "canal", existe sempre uma maneira de se obter uma [[lexico:c:codificacao:start|codificação]] de máxima [[lexico:e:eficiencia:start|eficiência]]. O trabalho de Shannon causou grande impacto e [[lexico:i:interesse:start|interesse]], mas pouco se fêz [[lexico:a:alem:start|além]] do que ele havia apresentado. Feins-tein, Fano e McMillan, dos Laboratórios Bell, tornaram mais rigorosas as ideias de Shannon, até o tratamento do matemático russo A.I. Khinchin em 1953 e 1956, que incorporou a "[[lexico:t:teoria:start|teoria]] da [[lexico:c:comunicacao:start|comunicação]]" de Shannon ao [[lexico:c:corpus:start|corpus]] da [[lexico:e:estatistica:start|estatística]] [[lexico:m:matematica:start|matemática]] clássica. Em 1958 J. Wolfowitz demonstrou que a transmissão de uma [[lexico:m:mensagem:start|mensagem]] a uma taxa [[lexico:s:superior:start|superior]] à permitida pela capacidade do canal [[lexico:n:nao:start|não]] é [[lexico:p:possivel:start|possível]].

{{indexmenu>.#1|skipns=/^playground|^wiki/ nsonly}}