INSTITUTO SUPERIOR POLITÉCNICO PRIVADO DO UÍGE

Criado pelo Decreto Presidencial nº 132/17 de 19 de junho 1ª série nº 98

SISTEMAS DE TELECOMUNICAÇÕES - III

Eng.º Manuel Mbenza

[email protected]

CAPÍTULO I. TEORIA DA INFORMAÇÃO

LOGO
Uíge, 2023/2024
 CONTEÚDO
1. Introdução à Teoria da Informação

2. Medidas de informação: Incerteza e Entropia

3. Compactação de Dados

4. Teorema da Codificação de Canal

5. Teorema da Capacidade de Informação

6. Compressão de Informação

7. Aplicações da Teoria da Informação

1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

O histórico artigo escrito por Shannon em 1948 sobre a

teoria da informação e os aperfeiçoamentos feitos por outros
pesquisadores foram uma resposta direita à necessidade
que os engenheiros de telecomunicações tinham de
projectar sistemas de comunicação eficientes e confiáveis.

Uma comunicação eficiente de uma fonte para um usuário

final é obtida através da codificação da fonte. Uma
comunicação confiável através de um canal com ruído é
obtida pela codificação de controle de erros.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

Conforme já foi estudado em Sistemas de

Telecomunicações II, o propósito de um sistema de
comunicação é transmitir sinais de banda base portadores
de informação de um lugar para outro através de um canal
de comunicação. Na disciplina anterior descrevemos vários
esquemas de modulação para atingir esse objetivo.

Entretanto, o que queremos dizer com o termo informação?

Para abordar essa questão, precisamos invocar a Teoria da
informação. Esta disciplina, que se baseia amplamente na
matemática, deu contribuições fundamentais não somente
para as comunicações, mas também para a ciência da
computação, física estatística, inferência estatística e
probabilidade e estatística.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

No contexto das comunicações, a teoria da comunicação

lida com modelagem matemática e análise de um sistema
de comunicação, em vez de fontes físicas e canais físicos.
Em especial, ela provê respostas para duas questões
fundamentais (entre outras):
• Qual é a complexidade irredutível abaixo da qual um
sinal não pode ser comprimido?

• Qual é a taxa de transmissão definitiva para uma

comunicação confiável através de um canal ruidoso?

As respostas a essas perguntas encontram-se,

respectivamente, na entropia de uma fonte e na capacidade
de um canal.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

A Teoria da Informação é uma disciplina centrada à

volta de uma abordagem matemática comum ao
estudo do armazenamento e manipulação da
informação. Como tal, fornece uma base teórica para
actividades como:

• Observação, medida, compressão e

armazenamento de dados;
• Telecomunicações;
• Estimação;
• Tomada de decisões;
• Reconhecimento de padrões.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

Relativamente às telecomunicações, a Teoria da

Informação

• fornece-nos pistas para melhorar a eficiência da

comunicação, com base no estudo das
possibilidades e limitações inerentes às leis
físicas. A Codificação (de fonte e de canal) é uma
forma de melhorar a eficiência da comunicação.
• estabelece limites para essa eficiência, em
relação aos quais poderemos comparar diversos
sistemas.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

A Teoria da Informação é uma teoria matemática que trata de três

conceitos básicos:
• A medida da informação.
• A capacidade de um canal de comunicações transferir
informação.
• A codificação, como meio de utilizar os canais com toda a
sua capacidade.

Estes três conceitos estão ligados pelo que se pode chamar o

Teorema Fundamental da Teoria da Informação (de Shannon):
Dada uma fonte de informação e um canal de comunicação,
existe uma técnica de codificação tal que a informação pode
ser transmitida através do canal a qualquer ritmo inferior à
capacidade do canal e com uma frequência de erros
arbitrariamente pequena apesar da presença do ruído.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

• O aspecto surpreendente deste teorema é a transmissão

sem erros através de um canal ruidoso, uma condição
que é obtida através de codificação adequada.
• A codificação é usada para adaptar a fonte e o canal
para a máxima transferência fiável de informação.

A Teoria da Informação tenta responder a perguntas do

género:
• O que é a informação? Como a medimos?
• Quais são os limites fundamentais à transmissão de
informação?
• Quais são os limites fundamentais à extracção de
informação do meio ambiente?
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

• Como é que se devem projectar dispositivos ou

equipamentos que se aproximem desses limites?
• Os dispositivos e equipamentos actuais aproximam-
se, ou não, desses limites?

O trabalho de Shannon está mais relacionado com o que

habitualmente achamos que é a comunicação, onde o
processamento do sinal se pode fazer tanto no emissor
como no receptor.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

Shannon colocou esta questão:

• Dado o conjunto de mensagens possíveis que uma

fonte pode produzir e que não são da nossa escolha,
como é que as mensagens deverão ser
representadas para que melhor transmitam a
informação num dado sistema com as suas
limitações físicas inerentes?

Para tratar deste problema em termos genéricos é

necessário concentrarmo-nos mais na informação que nos
sinais.
1. INTRODUÇÃO À TEORIA DA INFORMAÇÃO

Uma das grandes sacadas da teoria da informação foi

reduzir sistemas de comunicação complexos a
modelos simples
 CONTEÚDO
1. Introdução à Teoria da Informação

2. Medidas de informação: Incerteza e Entropia

3. Compactação de Dados

4. Teorema da Codificação de Canal

5. Teorema da Capacidade de Informação

6. Compressão de Informação

7. Aplicações da Teoria da Informação

 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Dado X Informação
Dado é o menor nível de abstração da informação, sendo o
fato em sua forma primária. Ou seja, é o conteúdo
quantificável e que por si só não transmite nenhuma
mensagem que possibilite o entendimento sobre
determinada situação.

A informação é a ordenação e organização dos dados de

forma a transmitir significado e compreensão dentro de um
determinado contexto.
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
No que respeita à medida da informação podemos considerar
dois pontos de vista:

• Utilizador – a medida da informação está relacionada com

incerteza (em relação à mensagem a ser transmitida).
• Fonte – a medida da informação é uma indicação da
liberdade de escolha exercida pela fonte ao seleccionar uma
mensagem.
• Se a fonte puder escolher livremente entre muitas
mensagens diferentes ⇒ o utilizador terá muitas dúvidas
em relação à mensagem que vai ser escolhida.
• Se não houver nenhuma possibilidade de escolha ( ⇒ só
uma mensagem possível) ⇒ não há incerteza ⇒ não há
informação.
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
A medida da informação envolve probabilidades.

Informação (ou auto-informação):

Um dígito binário (0 e 1) pode transportar uma informação

superior ou inferior a 1 bit, consoante as probabilidades de
ocorrência de cada dígito.
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Esta medida logarítmica de informação é a única função que
satisfaz as seguintes propriedades:

(a informação total é a soma das informações individuais)

2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
• Auto-informação – é definida em termos das mensagens
ou símbolos individuais.
• Informação média (entropia) – é definida em termos do
conjunto das mensagens que a fonte pode produzir.
Quando o símbolo de ordem j é transmitido a informação
transportada é bits
A informação média associada aos M símbolos da fonte X é
a média ponderada das auto-informações de cada símbolo.
A essa informação média por símbolo da fonte chama-se
entropia e designa-se por H(X):
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
O que é que significa a entropia de uma fonte? Significa que:

Embora não possamos prever qual o símbolo que a fonte

irá produzir a seguir, em média esperamos obter H bits de
informação por símbolo, ou NH bits numa mensagem de N
símbolos, se N for elevado.

• Vamos reescrever a fórmula da entropia como

 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
• No caso de uma fonte ou mensagem binária com 2 saídas
possíveis, com probabilidades p e 1-p, a entropia é
designada por Ω(p) e vale
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
• De modo geral, com um alfabeto de M símbolos tem-se:
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
Exemplo 1:

Exemplo 2:
 2. MEDIDAS DE INFORMAÇÃO:
INCERTEZA E ENTROPIA
Entropia (ou informação média)
Exemplo 1:
Calcule a entropia para o lançamento de uma moeda e
para o lançamento de um cubo. Depois realize o
mesmo exercício para os seguinte valores e compare
os resultados.
 CONTEÚDO
1. Introdução à Teoria da Informação

2. Medidas de informação: Incerteza e Entropia

3. Compactação de Dados

4. Teorema da Codificação de Canal

5. Teorema da Capacidade de Informação

6. Compressão de Informação

7. Aplicações da Teoria da Informação

INSTITUTO SUPERIOR POLITÉCNICO PRIVADO DO UÍGE
Criado pelo Decreto Presidencial nº 132/17 de 19 de junho 1ª série nº 98

FIM...

Grato pela atenção dispensada!

LOGO