===== CODIFICAÇÃO =====
Sejam duas [[lexico:s:sentencas|sentenças]] pertencentes a uma dada [[lexico:l:linguagem|linguagem]]. Admitimos que a sua concatenação também pertencerá a esta linguagem (por [[lexico:e:exemplo|exemplo]]: "Hoje o dia está desagradável" e "Você já viu aquele filme" são duas sentenças do português. Sua concatenação, "Hoje o dia está desagradável. Você já viu aquele filme?" também será, num [[lexico:s:sentido|sentido]] lato, uma "[[lexico:s:sentenca|sentença]]" do português. O "[[lexico:p:ponto|ponto]]" entre as duas sentenças originais é o operador da concatenação) . A [[lexico:e:estrutura|estrutura]] de um [[lexico:s:sistema|sistema]] concatenável é a seguinte: se a e b pertencem a L então ab também pertencerá a L. Estruturas deste [[lexico:t:tipo|tipo]] são chamadas monóides. Um [[lexico:p:processo|processo]] de codificação é, rigorosamente, uma aplicação biunívoca de um monóide sobre [[lexico:o:outro|outro]]. Que quer dizer isso? Para nossa [[lexico:f:finalidade|finalidade]] de [[lexico:c:compreender|compreender]] um processo de codificação, consideraremos que toda linguagem tem a estrutura de um monóide. Num processo simplificado de codificação, substituímos as letras do [[lexico:a:alfabeto|alfabeto]] por sinais especiais. Então, a cada [[lexico:s:sinal|sinal]] corresponde uma letra, e apenas uma. Quando [[lexico:e:eu|eu]] codificar um [[lexico:t:texto|texto]], obterei uma única versão codificada ([[lexico:n:nao|não]] posso codificar de duas maneiras diferentes o mesmo texto), e quando alguém traduzir a versão codificada, obterá de volta e texto inicial. Diz-se [[lexico:u:univoco|unívoco]] [[lexico:t:todo|todo]] processo que, a partir de um [[lexico:o:objeto|objeto]] inicial, obtém um [[lexico:u:unico|único]] objeto transformado. Quando há [[lexico:u:univocidade|univocidade]] nos dois sentidos, diz-se que o processo é biunívoco. O diagrama esclarece.

[[lexico:m:mensagem|mensagem]] original → codificação (unívoca) → mensagem cifrada

mensagem original ← decodificação (unívoca) ← mensagem cifrada

É evidente que, como desejamos que nossa mensagem, descodificada, se mantenha intacta, o nosso processo de codificação devera [[lexico:s:ser|ser]] biunívoco.

Suponhamos [[lexico:a:agora|agora]] que à transmissão de cada mensagem associamos um certo custo. Nosso [[lexico:i:interesse|interesse]] estaria em reduzir este custo. A mensagem é uma [[lexico:s:sequencia|sequência]] de letras num certo alfabeto e cada mensagem tem a si associada uma [[lexico:p:probabilidade|probabilidade]] de ser transmitida. Uma [[lexico:m:medida|medida]] do "custo" seria, por exemplo, o [[lexico:n:numero|número]] de letras numa dada mensagem (uma mensagem mais longa custaria mais que uma curta porque levaria mais [[lexico:t:tempo|tempo]] a ser transmitida). O custo médio de todas as mensagens seria a média ponderada dos custos individuais, sendo o fator de [[lexico:p:ponderacao|ponderação]] a probabilidade de transmissão de cada uma das mensagens. A [[lexico:p:pergunta|pergunta]] espontânea neste ponto é: haverá alguma codificação que reduza o custo médio de transmissão de um [[lexico:d:dado|dado]] conjunto de mensagens? A resposta é afirmativa.

Pode-se também mostrar que, em certas circunstâncias, há um [[lexico:m:metodo|método]] de codificação mais eficiente que todos os outros possíveis. "[[lexico:e:eficiencia|Eficiência]]" será (formalmente) definida como o quociente entre o comprimento médio das mensagens transmitidas no processo de codificação de menor custo [[lexico:p:possivel|possível]], e o comprimento médio das mensagens em qualquer outro processo de codificação. A redundância associada a um dado [[lexico:c:codigo|código]] é igual a 1 menos a eficiência correspondente. Quando a eficiência for de 100%, a redundância é nula. Para uma [[lexico:d:discussao|discussão]] completa ainda é melhor o artigo original sobre [[lexico:t:teoria|teoria]] da [[lexico:c:comunicacao|comunicação]]. (Francisco Doria - [[lexico:d:dcc|DCC]])