===== TEORIA DA INFORMAÇÃO =====
A [[lexico:t:teoria-da-informacao|teoria da informação]] surgiu de certas dificuldades que a engenharia de telecomunicações estava encontrando. Em 1928, baseado em [[lexico:i:ideias|ideias]] do engenheiro eletrônico americano Nyquist apresentadas [[lexico:q:quatro|Quatro]] anos antes, R.V.L. Hartley publicou um artigo no Bell System Technical Journal sugerindo uma [[lexico:d:definicao|definição]] para "[[lexico:q:quantidade|quantidade]] de informação". Pouco depois desta [[lexico:e:epoca|época]], o matemático Norbert Wiener publicou uma [[lexico:s:serie|série]] de trabalhos, alguns integrados no [[lexico:e:esforco|esforço]] de [[lexico:g:guerra|guerra]] norte-americano, e que muito contribuíram para o [[lexico:d:desenvolvimento|desenvolvimento]] rigoroso e a definição de "quantidade de informação". Em 1948, Claude Shannon, engenheiro da companhia Bell, publicou a primeira [[lexico:e:exposicao|exposição]] completa do assunto, fazendo inclusive uma importante contribuição [[lexico:p:pessoal|pessoal]] — os teoremas que são conhecidos com seu [[lexico:n:nome|nome]].

Neste [[lexico:t:trabalho|trabalho]], intitulado A Mathematical Theory of Communication, Shannon define com certo rigor [[lexico:a:axiomatico|axiomático]] a [[lexico:n:nocao|noção]] de "quantidade de informação". Analisando o escoamento de "mensagens" através de um "[[lexico:c:canal|canal]]", Shannon foi levado a calcular a "[[lexico:c:capacidade|capacidade]] de um canal", ou seja, a taxa [[lexico:m:maxima|máxima]] de transmissão de informação que um canal comporta, na [[lexico:p:presenca|presença]] ou na [[lexico:a:ausencia|ausência]] de ruído. Shannon pôde então demonstrar alguns teoremas fundamentais a [[lexico:r:respeito|respeito]] de "codificações eficientes". Nestes teoremas afirma-se que, dada uma certa "[[lexico:f:fonte|fonte]]" e [[lexico:d:dado|dado]] certo "canal", existe sempre uma maneira de se obter uma [[lexico:c:codificacao|codificação]] de máxima [[lexico:e:eficiencia|eficiência]]. O trabalho de Shannon causou grande impacto e [[lexico:i:interesse|interesse]], mas pouco se fêz [[lexico:a:alem|além]] do que ele havia apresentado. Feins-tein, Fano e McMillan, dos Laboratórios Bell, tornaram mais rigorosas as ideias de Shannon, até o tratamento do matemático russo A.I. Khinchin em 1953 e 1956, que incorporou a "[[lexico:t:teoria|teoria]] da [[lexico:c:comunicacao|comunicação]]" de Shannon ao [[lexico:c:corpus|corpus]] da [[lexico:e:estatistica|estatística]] [[lexico:m:matematica|matemática]] clássica. Em 1958 J. Wolfowitz demonstrou que a transmissão de uma [[lexico:m:mensagem|mensagem]] a uma taxa [[lexico:s:superior|superior]] à permitida pela capacidade do canal [[lexico:n:nao|não]] é [[lexico:p:possivel|possível]].