Análise de conteúdo categorial

RAFAEL CARDOSO SAMPAIO

INCT.DD| 2020
 Histórico
• Começaram com análises sistemáticas de textos bíblicos, no século 17;
• Na ciência, sua origem estaria voltada para as análises quantitativas de
jornais;
• Com o surgimento da mídia de massa, cresce o interesse das ciências
sociais e comportamentais em estudar estereótipos, estilos, símbolos,
valores e propagandas;
• Entre 1920 e 1940, Harold D. Lasswell foi dos precursores da técnica ao
integrar um grupo de estudos sobre períodos de guerra com foco em
jornais e rádio e preocupado com questões básicas de amostra,
problemas de medida, confiabilidade e validade das categorias;

INCT.DD| COMPADD 2021 2

 Histórico
• Entre 1940 e 1950, a AC passa por uma expansão da técnica para outros
campos de pesquisa, como história, psiquiatria, psicanálise, e passa por
uma perda de foco;
• Entre 1960 e 1970, marca as primeiras experiências em análises
automatizadas e o uso da técnica, como a necessidade de categorias
padronizadas, o papel das teorias e os problemas de inferências;
• Nas últimas décadas, a análise de conteúdo passou a ser usada para
gerar dados e resultados para uma série de pesquisas, atuando também
como uma técnica intermediária em complemento com outras técnicas,
como entrevistas em profundidade, grupos focais e questionários.

INCT.DD| COMPADD 2021 3

 Histórico no Brasil
• Comunicação de Massa – análise de conteúdo – Albert Kientz - 1973
• Análise de Conteúdo (versão portuguesa) – Bardin 1977
• Análise de Conteúdo (versão brasileira) – Bardin 1979
• GOMES, F. Araujo. Pesquisa e análise de conteúdo (mass media). Rio de
Janeiro: Âmbito Cultural, 1979.
• A linguagem da Política – Harold Lasswell - 1982
• Pesquisa social: teoria, método e criatividade – Minayo, Gomes 1993
• O método de análise de conteúdo – uma versão para enfermeiros – Maria
Socorro Pereira Rodrigues e Maria Tereza Leopardi - 1999
INCT.DD| COMPADD 2021 4
Histórico no Brasil
• O desafio do conhecimento: pesquisa qualitativa
em saúde – Minayo 2000
• Análise de Conteúdo clássica: uma revisão –
Martin Bauer - 2002
• Análise de Conteúdo – Maria Laura Franco - 2003
• Análise de Conteúdo na Comunicação
Organizacional – Marconi Urquiza, Denilson
Marques – 1921
• Análise de Conteúdo Categorial: um manual de
aplicação - 2021
INCT.DD| COMPADD 2021 5
 Definição
Um conjunto de técnicas de análise das
comunicações visando obter, por
procedimentos, sistemáticos e objetivos de
descrição do conteúdo das mensagens,
indicadores (quantitativos ou não) que
permitam a inferência de conhecimentos
relativos às condições de produção/recepção
(variáveis inferidas) destas mensagens (Bardin,
1977, p. 42).

INCT.DD| COMPADD 2021 6

Aplicação prática acadêmica

Resumo
Defendemos neste artigo a utilização da análise de enquadramento multimodal para
acompreensão da cobertura jornalística, pois somente uma análise sistemática dos diferentes
modos comunicativos da notícia – imagem, narrativa e frame - pode aproximar o pesquisador da
imagem geral construída pelo noticiário. Este artigo traz um primeiro exercício analítico sobre
parte de um corpus de uma pesquisa em andamento sobre o impeachment de Dilma Rousseff,
composto por 187 notícias do jornal o Globo e 131 da Folha de S. Paulo. Foi possível perceber
que a cobertura dos dois jornais privilegiou um enquadramento do processo de impeachment
como um fato ordinário da política nacional, como mera disputa política entre grupos rivais, sem
oferecer interpretações para além do protocolo básico da redação da notícia.

Palavras-Chave: enquadramento. Análise de enquadramento multimodal. Impeachment.

INCT.DD| COMPADD 2021 7

Resultados
Não foi identificado o cenário
em 58,59% das fotos e em 25%
são de pessoas em ambientes
internos. Na variável ação
desempenhada o que é mais
recorrente são pessoas em
estado passivo, quando não
realizam qualquer atividade
(32%), e em atividades
cotidianas flagradas (22%),
seguida de apresentação ou
discurso (13,28%).

Rizzotto et al (2017).

INCT.DD| COMPADD 2021 8

Resultados
Em 38,3% das notícias
analisadas foram
atribuídos papeis aos
personagens. A vítima
apareceu 13,8% das
vezes; o vilão 22,6%; e
o herói, 10,6%.

INCT.DD| COMPADD 2021 9

 Resultados
A principal causa foram as próprias
disputas políticas ou ideológicas do
processo de impeachment (44,9%).
Logo em seguida, uma parte das
matérias tende a identificar que o
problema é a própria questão da
Legalidade, legitimidade do
processo de impeachment (14,4%)
e da excessiva interferência do
Judiciário (13,5%), mostrando que
os questionamentos ao processo
em si e das disputas entre os
poderes foram noticiados.

INCT.DD| COMPADD 2021 10

 Resultados

Os resultados indicam que

não houve quaisquer
recomendações de
tratamento em quase 70%
do corpus.

INCT.DD| COMPADD 2021 11

Pesquisa científica – como afiançar?
Amostra
Notícias publicadas pelo O Globo, Folha de S. Paulo (FSP) e O Estado de S. Paulo, entre 2
de dezembro de 2015, dia em e 13 de maio de 2016.
A coleta foi restrita à editoria de política ou equivalente (e.g. “Poder”)

Livro de Códigos
http://www.inf.ufpr.br/carla/Livro_de_codigos_impeachment.pdf

Confiabilidade
Treinamento
Os testes de confiabilidade foram realizados após o treinamento de nove codificadores,
utilizando os índices alpha de Krippendorff e kappa livre de Brennan e Prediger.

Base de dados para replicação

Ausente! 
https://bdc.c3sl.ufpr.br/handle/123456789/26

INCT.DD| COMPADD 2021 12

 De novo, porém mais simples
Análise de Conteúdo
Textos Reduzir
Codificar conteúdos Áudios Ordenar
Classificar conteúdos Vídeos Descrever
Tagear/etiquetar Imagens Compreender
Árvore de tags Inferir
Explicar

INCT.DD| COMPADD 2021 13

 Definição (lá e de volta outra vez)
“É uma análise quantitativa condensadora que se baseia no método
cientifico (incluindo atenção a objetividade intersubjetividade, design
anterior, confiabilidade, validade, generalização, replicabilidade e teste de
hipóteses) que não é limitada para os tipos de variáveis que podem ser
medidas ou a contexto no qual as mensagens são criadas ou apresentadas
(Neuendorf, 2002, p. 10).

“É uma técnica de pesquisa que objetiva criar inferências válidas e

replicáveis de textos (ou outro conteúdo significativo) para os contextos de
seu uso” (Krippendorff, 2004, p. 10). Para o autor, ela não pode ser vista
como exclusivamente quantitativa.

INCT.DD| COMPADD 2021 14

“Análise de conteúdo é uma técnica de
pesquisa científica baseada em procedimentos
sistemáticos, intersubjetivamente validados e
públicos para criar inferências válidas sobre
determinados conteúdos verbais, visuais ou
escritos, buscando descrever, quantificar ou
interpretar certo fenômeno em termos de seus
significados, intenções, consequências ou
contextos” (Sampaio, Lycarião, 2021, p.7).

INCT.DD| COMPADD 2021 15

 Aplicação da AC no Brasil
• Artigos científicos em Contabilidade, Administração, Medicina,
Comunicação, Ciências Sociais, etc;
• Estudo de leis, comunicação impressa de instituições, etnografia;
• Mensagens postadas no Twitter, no Facebook, no Instagram e depois
redes sociais digitais, memes políticos;
• Comentários de jornais, conversações e/ou deliberações on-line,
discordâncias e desrespeito on-line, grupos de conversações sobre
questões sensíveis ou polêmicas;
• Pronunciamentos oficiais, HGPE, campanha eleitoral negativa;

INCT.DD| COMPADD 2021 16

 Aplicação da AC no Brasil
• Anotações de enfermeiros em prontuários, entrevistas e grupos focais
em pesquisas clínico-qualitativas;
• Programas de partidos políticos, planos de governo, websites de
partidos políticos e de candidatos, debates eleitorais;
• Notícias de jornais impressos sob a perspectiva do enquadramento,
valência, editoriais de jornais impressos;
• Livros e materiais didáticos, artigos da Wikipédia;
• Publicidade, marketing, SEO , entre tantos outros possíveis objetos.
(Sampaio; Lycarião, 2021, p. 24-25)

INCT.DD| COMPADD 2021 17

Amarante, Sampaio, 2021

INCT.DD| COMPADD 2021 18

 Borba, 2019

INCT.DD| COMPADD 2021 19

Kleina, Sampaio, 2021

INCT.DD| COMPADD 2021 20

 Vantagens da AC
• 1) faz uma ponte entre um formalismo estatístico e a/uma análise
qualitativa dos materiais;
• 2) reduz grandes quantidades de texto em uma descrição curta de
algumas de suas características;
• 3) faz uso de materiais que ocorrem naturalmente;
• 4) é sistemática e pública (conjunto de procedimentos maduros e bem
documentados);
• 5) presta-se para dados históricos. (Bauer, 2007)

INCT.DD| COMPADD 2021 21

 Fraquezas da AC

• I) introduzir inexatidões de interpretação;

• II) não reproduzir contexto original na análise;
• III) tender a se centrar em frequências e descuida do que está ausente;
• IV) perder a relação entre códigos e texto (e.g. o momento em que algo
é dito)
(Bauer, 2007)

INCT.DD| COMPADD 2021 22

 Afinal: qualitativa ou quantitativa?
• Quando Lasswell a cria é uma técnica quantitativa;
• A partir dos anos 50 e 60 é apropriada por outras
áreas e ganha contornos mais qualitativos;
• Na literatura anglo-saxã, predomina a AC
quantitativa;

• Na literatura francesa, portuguesa e brasileira, Bardin teve grande impacto e

a análise de conteúdo qualitativa predominou.
• Porém também há bastante confusão entre a diferença de análise de
conteúdo para análise qualitativa temática.
INCT.DD| COMPADD 2021 23
Estado da arte da AC no Brasil

OU

Um manual para todos dominar

Intercom 1996-2012

INCT.DD| COMPADD 2021 25

Quadros et al, 2014 (PPGCOMs)

INCT.DD| COMPADD 2021 26

PPGCOMs- 2012 (52 dissertações e 5 teses)
Quadros et al, 2014

INCT.DD| COMPADD 2021 27

 Internet & Política
526 artigos/11 eventos (200-2014)
Sampaio, Bragatto, Nicolas, 2016

INCT.DD| COMPADD 2021 28

Estado da arte
• Inúmeras pesquisas bibliográficas sobre o uso da AC.
1) quase todas restringiram-se a analisar apenas suas áreas de origem;
2) lidaram com um N baixo de artigos;
3) identificaram uma predominância de Laurence Bardin como a principal
autora da AC brasileira;
4) a maior parte das aplicações de análise de conteúdo na pesquisa
brasileira é incompleta e/ou de baixa qualidade e rigor científico.
(Castro et al., 2011; Gomes et al., 2020; Martinez & Pessoni, 2015; Nascimento et al., 2019; Palmeira et al., 2020;
Quadros et al., 2014; Seramim & Walter, 2017; Silva et al, 2017)
GRUPPOCOM| COMPADD 2021 29
Um mapeamento bibliográfico da área

• O artigo apresenta uma análise cientométrica de 3.484 artigos publicados

entre 2002 e 2019 na base SciELO que fazem referência à análise de
conteúdo (AC).
• Produção anual, periódicos, autores mais citados e cocitados e a presença
específica do manual de Bardin
• Colégio de ciências da vida contou com 2.087 artigos (59.9%).
• O colégio de humanidades com 1.211 (34.8%)
• Colégio de ciências exatas, tecnológicas e multidisciplinares com 186 (5.3%).

GRUPPOCOM| COMPADD 2021 30

Sampaio, Lycarião, Codato, Marioto, Bittencourt,
Nichols, Sanchez (2022)

GRUPPOCOM| COMPADD 2021 31

Ciências da vida N Humanidades N

bardin l, 2011, análise de conteúdo 356 bardin l, 1977, análise de conteúdo 186

bardin l, 1977, análise de conteúdo 237 bardin l, 2011, análise de conteúdo 141

bardin l, 2009, análise conteúdo 135 bardin l, 2009, análise de conteúdo 78

bardin l, 2004, análise de conteúdo 93 bardin l, 2004, análise de conteúdo 57

minayo mcs, 2010, o desafio do
conhecimento 78 bardin l, 1979, análise de conteúdo 50

bardin l, 2008, análise de conteúdo 72 laville c, dionne j, 1999, a construção do saber 47

bardin l, 2010, análise de conteúdo 72 bardin l, 2010, análise de conteúdo 36

bardin l, 1979, análise de conteúdo 67 minayo mcs, 2010, o desafio do conhecimento 27

minayo mcs, 2014, o desafio do
conhecimento 63 yin rk, 2001, estudo de caso 26
minayo mcs, 2004, o desafio do
conhecimento 62 ludke m, 1986, pesquisa em educação 24
fontanella bjb, janete r, turato eg, 2008, cad.
saúde pública 60 yin rk, 2005, estudo de caso 22
minayo mcs, 2007, o desafio do fontanella bjb, janete r, turato eg, 2008, cad.
conhecimento 52 saúde pública 21
minayo mcs, 2008, o desafio do
conhecimento 45 moraes r, 1999, rev. educação porto 21
minayo mcs, 2006, o desafio do
conhecimento 44 bardin l, 2008, análise de conteúdo 20 Sampaio et al (2022)

GRUPPOCOM| COMPADD 2021 32

GRUPPOCOM| COMPADD 2021 33
GRUPPOCOM| COMPADD 2021 34
Mas e longitudinalmente?

GRUPPOCOM| COMPADD 2021 35

Bardin é mais citada que o restante do top 10 brasileiro juntos
O manual de Bardin é mais citado que os manuais de Krippendorff, Neuendorf, Weber, Berelson e Mayring juntos...
IBPAD https://tinyurl.com/ACnoBR
Mas o que tem demais em ter muito Bardin?

• Qualquer área metodológica vai ter dificuldades em avançar não

renovando autores/as, manuais, livros e afins.
• Porém, no caso do manual, há outros problemas:
1. Ele foi lançado em 1977 e atualizado no início dos anos 90 (Bardin, 2016, p. 13)
2. Não reflete as discussões epistemológicas e metodológicas de 2 décadas;
3. Não reflete as diversas mudanças e atualizações trazidas pelos meios digitais.
4. Por algumas especificidades, o manual parece ser mal lido.
5. Déficits no emprego da técnica não são exclusividade do Brasil, mas Bardin sim!
GRUPPOCOM| COMPADD 2021 37
Ainda há ausências importantes

• Técnicas de Amostragem ou de criação de corpus qualitativo;

• Elaboração e disponibilização do livro de códigos;
• Treinamento dos codificadores;
• Teste de confiabilidade entre codificadores;
• Testes estatísticos para AC quantitativas;
• Uso de softwares CAQDAS para AC qualitativas;
• Tratamento ético dos dados para AC qualitativas.
• Transparência da pesquisa e princípios de replicabilidade (e.g. repositórios)
GRUPPOCOM| COMPADD 2021 38
Uma técnica parada no tempo
• Hipótese do “ciclo vicioso”.
• Os déficits na aplicação da AC não são específicos do Brasil, mas o uso
concentrado de Bardin é o CPF de nossa estagnação.
• Enquanto é natural alguma demora entre a ponta de lança da discussão
metodológica e epistemológica e sua aplicação, o caso brasileiro parece
apontar um problema extra:
• AC no Brasil é sinônimo de Bardin e é um manual que não é atualizado.
• Falta então mais materiais disponíveis em português e uma discussão
epistemológica e metodológica mais vibrante
GRUPPOCOM| COMPADD 2021 39
Análise de cocitação de 1500 referências da Scielo (- Scielo Brasil or Brazil)

GRUPPOCOM| COMPADD 2021 40

Muita Bardin, pouca qualidade
•Objetivo: fazer uma avaliação qualitativa de estudos baseados em análise
de conteúdo (AC) em diferentes áreas de pesquisa no Brasil.

•Amostra: 549 artigos que fizeram uso da técnica de AC qualitativa extraídos

da base SciELO Brasil.

•Método: aplicação de análise de conteúdo quantitativa e qualitativa para

avaliação da qualidade das publicações.

GRUPPOCOM| COMPADD 2021 41

Aspecto Avaliado Resultados
Explicitação da metodologia indutiva para criação
93,9% (477) dos artigos
de códigos e categorias
Disponibilização do resultado da aplicação indutiva
65% (357) dos artigos
ou livro de códigos
Explicitação das unidades de análise Apenas 5 artigos
Explicitação de mais de um codificador Apenas 14% dos artigos
Treinamento dos codificadores Apenas 0,5% mencionaram
Teste de confiabilidade entre codificadores Apenas 2,6% apresentaram
Formas de lidar com a subjetividade do codificador Apenas 14,8% trouxeram esta preocupação
Formas de lidar com a confiabilidade das
Apenas 2,6% apresentaram
codificações
Apresentação de método de validação dos dados Apenas 7,3% (40) apresentaram
Transparência metodológica para incremento da
Apenas 2,4% (13) exibiram
credibilidade (trustworthiness)
Submissão a comitê de ética ou questões éticas
Apenas 11% apresentaram
com sujeitos
GRUPPOCOM| COMPADD 2021 42
•Nos 549 artigos foram Identificadas 578 referências a manuais, artigos,
capítulos e livros sobre a técnica
•10% dos trabalhos (64) afirmaram ter utilizado análise de conteúdo,
porém, não citaram qualquer referência da técnica no estudo
•66,8% (367) fizeram referência a alguma edição do manual de Bardin
•76,5% (280) utilizaram para sustentar a metodologia
•23,5% (86) apenas mencionaram a autora, sem detalhar a técnica
•Nenhum artigo fez menção crítica, negativa ou contraponto ao modelo de
Bardin

GRUPPOCOM| COMPADD 2021 43

 • Bardin segue como referência
dominante e pouco questionada nos
estudos brasileiros
• Parcela considerável não cita qualquer
referência, prejudicando o rigor
metodológico
• Necessidade de diversificar as bases
teóricas da análise de conteúdo no país
• Importante fazer uso crítico e
ponderado, não apenas protocolar, do
modelo de Bardin

GRUPPOCOM| COMPADD 2021 44

Análise de conteúdo quantitativa

GRUPPOCOM| COMPADD 2021 46

Análise de conteúdo qualitativa

GRUPPOCOM| COMPADD 2021 47

Leitura equivocada ou inexistente de Bardin

1. Pré-análise
Leitura flutuante

2. Exploração do material
Codificação (regras para
categorias)

3. Tratamento dos resultados e

intepretações
Inferências

Bardin (2016, p. 123)

GRUPPOCOM| COMPADD 2021 48

Primeira Etapa: pré-análise
Nesta etapa são desenvolvidas as operações preparatórias para a análise
propriamente dita. Consiste num processo de escolha dos documentos ou
definição do corpus de análise; formulação das hipóteses e dos objetivos da
análise; elaboração dos indicadores que fundamentam a interpretação final.

Segunda Etapa: exploração do material ou codificação

Consiste no processo através do qual os dados brutos são transformados
sistematicamente e agregados em unidades, as quais permitem uma descrição
exata das características pertinentes ao conteúdo expresso no texto.

Terceira Etapa: tratamento dos resultados -inferência e interpretação

Busca-se, nesta etapa, colocar em relevo as informações fornecidas pela análise,
através de quantificação simples (frequência) ou mais complexas como a
análise fatorial, permitindo apresentar os dados em diagramas, figuras,
modelos etc. (Bardin, [1977] 2016)

INCT.DD| COMPADD 2021 49

INCT.DD| COMPADD 2021 50
 Neuendorf, 2001

INCT.DD| COMPADD 2021 51

 Neuendorf, 2001

INCT.DD| COMPADD 2021 52

 Riffe et al, 2013

INCT.DD| COMPADD 2021 53

 Sampaio, R. C.; Lycarião, D. Análise de
conteúdo categorial: manual de
aplicação. Brasília: Enap, 2021
INCT.DD| COMPADD 2021 54
CONCEITUAÇÃO
1. Identificar o problema (revisão de literatura)
2. Questões de pesquisa e hipóteses

• Análise de conteúdo enquanto uma técnica de

pesquisa científica.

• Deve ser aplicada para responder a problemas

e, especialmente, a questões de pesquisa.

• a própria maneira como uma análise de conteúdo será configurada

depende diretamente do tipo de questões a que ela deseja dar resposta.

INCT.DD| COMPADD 2021 55

Uma revisão de literatura adequada deve responder à questão “quanto já
sabemos sobre o fenômeno a ser estudado”?

Uma revisão de literatura adequada produzirá um estado da arte das

pesquisas sobre o fenômeno, que apresentará, entre outras coisas, 1)
métodos e técnicas utilizadas em estudos anteriores; 2) corpus utilizado
para a pesquisa; e 3) resultados encontrados.

Dessa maneira, tende a ser mais viável a identificação das lacunas presentes
em estudos da área e dos pontos que justamente merecem receber mais
atenção, ou seja, do problema de pesquisa.

INCT.DD| COMPADD 2021 56

DESENHO
3. Selecionar a unidade e subunidade de análise
Conforme sugerido por Neuendorf (2002) e Krippendorff
(2004), a primeira definição está na unidade amostral,
afinal, quais serão as “porções” de texto ou de conteúdo
a serem analisadas?

• Naturalmente, a unidade amostral já definirá a unidade física (Cervi,

2016), ou seja, qual o meio físico do qual o conteúdo se originou, se era
jornal impresso, rádio, TV, blogs, postagens de redes sociais on-line, vídeos
ou documentos impressos

INCT.DD| COMPADD 2021 57

vamos supor que um pesquisador está interessado em verificar se houve
notável imparcialidade jornalística em um evento político de grande
natureza, como é o caso do impeachment da Presidente Dilma Rousseff.

Essa pesquisa poderia incluir

unidades amostrais de capa,
editoriais e notícias. Fazendo-se
um recorte temporal, por exemplo,
é natural que haveria mais notícias
que editoriais, ou mesmo
chamadas de capa a respeito do
evento; portanto, são necessárias
amostras diferentes.

INCT.DD| COMPADD 2021 58

• Definida a unidade amostral, é preciso determinar a unidade de análise
(também chamada na literatura de unidade de codificação), o elemento
unitário de conteúdo a ser classificado (Moraes, 1999).

• Muitas vezes, a unidade de análise será idêntica à unidade amostral, ou

seja, a análise de conteúdo se dará no texto/documento como um todo.

• Em análises bibliométricas, por exemplo, a unidade de análise

frequentemente é o artigo acadêmico como um todo.

INCT.DD| COMPADD 2021 59

• Em determinados casos, pode ser que a análise do conteúdo como um
todo possa não ser o mais recomendado, por ser um conteúdo complexo
e/ou extenso.

• AC aplicada a filmes de longa-metragem: se um filme vai ser analisado

como um todo, será bastante difícil se alcançar bons valores nos testes
de confiabilidade, e a replicação do estudo será muito complexa.

E o Vento Levou tem

exatos 238 minutos de
duração

INCT.DD| COMPADD 2021 60

• As pesquisas sobre (HGPE): Normalmente, a unidade amostral é um
programa inteiro, enquanto a unidade de análise utilizada por boa parte
da literatura é o “segmento”, que é uma definição análoga a uma cena
de programas audiovisuais. O segmento irá se alterar quando: a) o
cenário mudar; b) os personagens mudarem e/ou c) a narração mudar.

Então, em vez de analisar o programa televisivo como um

todo, os pesquisadores aplicam as categorias de análise
de conteúdo a cada segmento de cada programa de HGPE
(Figueiredo et al. 1997; Panke; Cervi 2012)

INCT.DD| COMPADD 2021 61

• Em determinados casos, a unidade de análise poderá ser definida pela
própria organização do conteúdo original.

• Um bom exemplo é o caso de grupos focais. Ora, cada fala de cada

participante de um grupo focal poderá funcionar adequadamente como a
unidade de análise.

• No caso da análise de textos, pode-se optar por definir o parágrafo ou

mesmo a sentença como a unidade de análise, o que gerará a certeza de
que os codificadores estão considerando os mesmos trechos do conteúdo
para a codificação. No caso de leis, relatórios, livros ou textos igualmente
extensos, essa pode ser uma saída apropriada.

INCT.DD| COMPADD 2021 62

A pesquisa de Felipe Borba sobre o uso de propaganda negativa durante a
campanha presidencial de 2014 nos soa como um excelente exemplo de AC com
diferentes unidades de análise.

- Spots TV – O Componente textual (imagens foram ignoradas), n=1033

- Spot Rádio – O componente textual, n=1297
- Debates – A fala do candidato em cada intervenção (pergunta, resposta,
réplica e tréplica), n=450
- O Globo – A fala do candidato transcrita no jornal, n= 626
- Jornal Nacional – A fala do candidato exibida no telejornal, n= 133-
Facebook – O texto escrito na postagem. Não foi considerado o conteúdo
compartilhado, n= 543 (Borba, 2019, p. 45-46)

Portanto, mesmo sendo uma única pesquisa, Borba trabalha com diferentes meios, com
diferentes unidades de análise, que, por sua vez, possuem diferentes tamanhos de
população. Ele posteriormente realiza uma classificação das falas em a) aclamação, b)
ataque ou c) defesa; e os tipos de ataques realizados, nomeadamente i) político, ii)
pessoal e iii) misto.

INCT.DD| COMPADD 2021 63

Então, recapitulando
Unidade amostral
Unidades a serem analisadas: jornal impresso, rádio, TV, blogs,
postagens de redes sociais on-line, vídeos, fotos, ilustrações,
documentos impressos
Unidade de análise
Conteúdos de fato que serão analisados
Parágrafos
Capítulos de livros
Posts de redes sociais
Matérias de jornais, editoriais, capas
Falas de um grupo focal
INCT.DD| COMPADD 2021 64
4. Criar e definir categorias
A. elaboração do livro de códigos
B. elaborar a planilha de codificação
A tarefa provavelmente mais importante na AC (categorial) está justamente
na definição de um referencial de codificação (uma tradução para coding
scheme ou, literalmente, esquema de codificação). “
Ele é um conjunto de questões (códigos) com o qual o codificador trata os
materiais, e do qual o codificador consegue respostas, dentro de um
conjunto predefinido de alternativas (valores de codificação)” (Bauer, 2007,
p. 199).
Os construtos analíticos podem ser derivados de: 1) teorias ou práticas
existentes; 2) experiência ou conhecimento de peritos e pesquisa anterior
(White; Marsh, 2006).
INCT.DD| COMPADD 2021 65
Lembrete: diferentes palavras, significados similares
Código = rótulo = tag/etiqueta
O código é a unidade elementar da AC. Ele irá resumir, filtrar ou condensar
dados de acordo com os objetivos e com os interesses da pesquisa.
Grupos de códigos, por sua vez, são agrupados em categorias, ou seja,
unidades analíticas que materializam as questões a serem verificadas.
.

INCT.DD| COMPADD 2021 66

Um exemplo bastante simples é
o estudo das valências, muito
visto na Ciência Política (Cervi;
Massuchin, 2013; Feres Júnior,
Sassara 2016), que busca
verificar se a cobertura midiática
é enviesada a favor ou contra
determinado governo, tema ou
ator político. A categoria é
Valência e os possíveis códigos a
serem aplicados são: 1.
Negativo, 2. Positivo e 3. Neutro.

Valências de candidatos, partidos e governo em O Globo -

Eleições 2010
Feres Júnior, Sassara, 2016

INCT.DD| COMPADD 2021 67

• Um texto não tem um significado único, estando aberto a inúmeras
possíveis questões, embora “a AC interpreta o texto apenas à luz do
referencial de codificação, que constitui uma seleção teórica que
incorpora o objetivo da pesquisa” (Krippendorff, 2004, p. 199).

• O referencial de codificação vai determinar quais são as categorias e

códigos a serem aplicados, assim como as regras para a codificação que
deverão ser devidamente seguidas pelos codificadores.
•
Portanto, esse referencial de codificação é materializado numa espécie
de manual de codificação (codebook) ou simplesmente livro de códigos.

INCT.DD| COMPADD 2021 68

Sustainable media
events?
Production and
discursive effects of
staged global
political media
events in the area
of climate change

INCT.DD| COMPADD 2021 69

•

Alonso, 2012
INCT.DD| COMPADD 2021 70
 Standard Coding
Categories Used to
Code Party Election
Programmes

INCT.DD| COMPADD 2021 71

•

Sampaio et al, 2021

INCT.DD| COMPADD 2021 72

•

Rizzotto et al, 2021

INCT.DD| COMPADD 2021 73

Moura, Recine, 2019
As categorias de uma análise de conteúdo devem ser: 1) exclusivas, 2)
exaustivas e 3) homogêneas, nesta ordem de importância.

Exclusivas
um mesmo elemento não deve estar em duas categorias diferentes sem
razão

“exclusividade mútua se refere à habilidade de uma linguagem de dados

fazer claras as distinções entre o fenômeno a ser codificado. Nenhuma
unidade de análise pode se encaixar em duas ou mais categorias.”
(KRIPPENDORFF, 2004, p. 132)

INCT.DD| COMPADD 2021 75

Uma mesma matéria não
poderia ser classificada
como tendo, ao mesmo
tempo, uma valência
positiva e neutra.

Caso o material em
questão apresente
característica dos dois
códigos, o codificador
deve tomar uma decisão
marcando o código
preponderante (ou
conforme instruções
contidas no respectivo
livro de códigos).
Stemler (2001): classificar o currículo de uma escola secundária. As
categorias são:
matemática,
ciência,
literatura,
Biologia,
cálculo.

biologia = ciência e cálculo = matemática

INCT.DD| COMPADD 2021 77

“A bem intencionada prática de adicionar categorias como “ambíguo” ou
“aplicável a duas ou mais categorias” a um conjunto de categorias com
sobreposição não altera a indistinção básica das categorias; isto incentiva a
indecisão de parte dos codificadores e raramente rende uma variável
suficientemente confiável. (KRIPPENDORFF, 2004, p. 132).

Quando uma análise de conteúdo usa tais categorias,

revela mais sobre suas próprias concepções obscuras do
que sobre as propriedades do texto, e enviesam seus
resultados de pesquisa em direção a fenômenos
facilmente descritíveis. Não existe nenhum remédio
verdadeiro para concepções ambíguas”. (ibidem)

INCT.DD| COMPADD 2021 78

Exaustivas
Dizer que um conjunto de categorias deve ser exaustivo significa dizer que
deve possibilitar a categorização de todo o conteúdo significativo definido
de acordo com os objetivos da análise.

Assim, cada conjunto de categorias deve ser exaustivo no sentido de

possibilitar a inclusão de todas as unidades de análise. Não deve ficar
nenhum dado significativo que não possa ser classificado (Moraes, 1999).

Nunca é demais lembrar que a regra da exaustividade precisa ser aplicada

aos conteúdos efetivamente significativos do estudo. Os objetivos da
análise definem o conjunto de dados que efetivamente deverão ser
categorizados.
INCT.DD| COMPADD 2021 79
Uma vez tomada esta decisão, as categorias deverão ser exaustivas, isto é
ter possibilidade de enquadrar todo o conteúdo (Moraes, 1999).

esgotar a totalidade do ‘texto’; é preciso ter-se em conta todos os

elementos desse corpus. Em outras palavras, não se pode deixar de
fora qualquer um dos elementos por esta ou aquela razão (dificuldade
de acesso, impressão de não interesse), que não possa ser justificável
no plano do rigor. (Bardin, 2016, p. 126-127).

Podem ser usados “outros”, “nenhum”, “não

se aplica” para tornar o esquema exaustivo,
mas com parcimônia.

INCT.DD| COMPADD 2021 80

Stemler (2001): classificar o currículo de uma escola secundária. As
categorias são:
matemática,
ciência,
literatura,
Biologia,
cálculo.

Educação Física? História? Geografia?

INCT.DD| COMPADD 2021 81

“As classes formadas precisam ser tanto exaustivas quanto
mutuamente exclusivas. Isto significa que se existem N casos para
serem classificados, deve haver uma classe apropriada para cada
um destes (exaustividade), mas apenas uma classe correta para
cada, com nenhum caso sendo membro de duas classes
(exclusividade mútua). Assim, deve haver uma classe (mas apenas
uma) para cada um dos N casos”. (BAILEY, 1994 apud Carlomagno,
Rocha, 2016).
Homogêneas
Um único princípio ou critério de classificação deve governar sua
organização. Separar conceitos diferentes em variáveis distintas.

Se houver mais de um nível de análise, o critério de homogeneidade deve

estar presente em todos os níveis. Além disto é importante que esta
homogeneidade não seja garantida apenas em conteúdo mas igualmente
em nível de abstração (Moraes, 1999).

elas não devem ser tão amplas ao ponto de serem capazes de abarcar
coisas muito diferentes em uma mesma categoria, sob pena de não ter
significado prático para o estudo (Carlomagno, Rocha, 2016).

INCT.DD| COMPADD 2021 83

Nós geralmente procuramos minimizar a variância dentro do grupo,
enquanto maximizamos a variância entre grupos. Isto significa que nós
organizamos um conjunto de características em grupos, para que cada
grupo seja tão diferente quanto possível de todos os outros grupos, mas
cada grupo seja internamente homogêneo quanto possível.

Ao maximizar ambos, homogeneidade intra-grupo

e heterogeneidade entre-grupos, nós criamos
grupos que são tão distintos (não sobrepostos)
quanto possível, com todos os membros dentro de
um grupo sendo tão iguais quanto possível.
(BAILEY, 1994 apud Carlomagno, Rocha, 2016).

INCT.DD| COMPADD 2021 84

Análise de campanha eleitoral (Carlomagno e Rocha, 2016), as opções são:

propostas de políticas públicas,

construção da própria imagem,
campanha negativa (ataques a adversários);
agenda (divulgação de eventos etc)

Estaria pouco homogêneo. Opção 1 é muito ampla

INCT.DD| COMPADD 2021 85

Livro de códigos
O livro de códigos (LdC) é um manual de como codificar, enquanto o
formulário de codificação (FdC) apresenta espaços apropriados para aplicar
os códigos para todas as variáveis medidas.

O objetivo de criar LdC e FdC é dar informação

mais completas e menos ambíguas possíveis ao
ponto de mitigar as diferenças individuais entre os
codificadores.

Juntos LdC e FdC devem funcionar sozinhos como

o protocolo de análise de conteúdo;

INCT.DD| COMPADD 2021 86

Adaptando a sugestão de Macqueen et al. (1998, p. 32), um livro de códigos
deve incluir, ao menos, seis componentes básicos: 1) categorias e seus
códigos; 2) breve descrição; 3) definição completa; 4) regras para quando
aplicar os códigos; 5) regras para quando não aplicar os códigos; 6)
exemplos.

Em resumo, deve conter definições claras, instruções fáceis de serem

seguidas e exemplos que não deixem ambiguidade (especialmente os que
gerarem dúvidas). Mesmo detalhes mundanos de codificação precisam ser
especificados.

INCT.DD| COMPADD 2021 87

 Rizzotto et al, 2021

INCT.DD| COMPADD 2021 88

• Uma definição conceitual é uma declaração do pesquisador do que ele
deseja estudar. Cada definição conceitual é um guia para as medidas da
variável ou sua operacionalização. A definição conceitual e a
operacionalização precisam bater (validade interna).

• O mais adequado é numerar as suas categorias e seus respectivos

códigos.

• Após a elaboração do livro de códigos, é igualmente importante que seja

elaborado um formulário de codificação (FdC), que é a planilha de dados
que será preenchida pelos diferentes codificadores, seja nos
treinamentos, seja no teste de confiabilidade, seja na codificação final.

• Deve ser formatado para apresentar os espaços apropriados para a

aplicação de todos os códigos possíveis nas devidas categorias.
INCT.DD| COMPADD 2021 89
•

INCT.DD| COMPADD 2021 90

o objetivo de criar LdC e FdC é dar informação mais completa e menos
ambígua possível, ao ponto de quase diminuir ao mínimo as diferenças
individuais entre os codificadores. Portanto, LdC e FdC devem funcionar
sozinhos como o protocolo de análise de conteúdo. Tal detalhamento
também é importante para facilitar a validação dos dados da pesquisa em
um primeiro momento, e mesmo para fins de replicabilidade.

Ao definir os códigos, não assuma que qualquer coisa é óbvia; sempre

explicite especificamente o que código deveria ou não capturar. [...] Inclua
todas as informações na definição completa do código e nas explicações
para seu uso. Coisas que podem parecer óbvias aos codificadores em um
certo lugar e momento podem ser totalmente obscuras em outras
circunstâncias (Macqueen et al., 1998, p. 35).
INCT.DD| COMPADD 2021 91
INCT.DD| COMPADD 2021 92
INCT.DD| COMPADD 2021 93
Recapitulando
O livro de códigos (LdC) é um
O código é a unidade As categorias devem ser manual de como codificar,
elementar da AC. Ele irá Exclusivas enquanto o formulário de
resumir, filtrar ou condensar Exaustivas codificação (FdC) apresenta
dados de acordo com os Homogêneas espaços apropriados para
objetivos e com os interesses aplicar os códigos para todas
da pesquisa. as variáveis medidas.

Grupos de códigos, por sua

vez, são agrupados em
categorias.

INCT.DD| COMPADD 2021 94

5. Amostragem
Nas palavras de Neuendorf (2002, p. 83), “amostragem é o processo de se
selecionar um subconjunto de unidades para o estudo da população como
um todo”.

Por isso, a ideia de amostra só se faz concebível e ponto de atenção

quando os recursos disponíveis para realizar a pesquisa não são suficientes
para se analisar todas as unidades da população. Quando isso é possível,
ou seja, quando a população pode ser devidamente pesquisada em sua
totalidade, no lugar de uma amostragem, realiza-se, então, o que se
denomina de censo.

INCT.DD| COMPADD 2021 95

como fazer com que os dados de apenas uma parte (os dados da amostra)
possam falar sobre o conjunto de uma população?

pode-se dizer que uma amostra é representativa no momento em que “ela

leva a conclusões que são aproximadamente as mesmas que aquelas que se
alcançaria caso toda a população fosse pesquisada” (Krippendorff, 2004, p.
112).

Tais técnicas são divididas por Neuendorf (2002, p. 83-88) em dois grandes
grupos, um de natureza probabilística (randômica) e outro de natureza não
probabilística (não randômico)

INCT.DD| COMPADD 2021 96

5.1 Técnicas probabilísticas 5.2 Técnicas não probabilísticas (não
(randômicas) randômicas)
Amostragem aleatória simples Amostragem por conveniência
Amostragem sistemática Por propósito ou relevância
Amostragem por agrupamento Por cotas
Amostragem estratificada Censo
Amostragem em múltiplos estágios
Amostragem em bola de neve

INCT.DD| COMPADD 2021 97

 Exemplo da semana construída
A amostragem a ser analisada foi
selecionada a partir do método de
semana construída, que consiste na
estratifi cação da amostragem por dia da
semana de modo a assumir a variação
cíclica do conteúdo jornalístico (RIFFE
et al., 1993). Para isso, é selecionado um
dia aleatório, de um mês aleatório, que
represente cada dia da semana, até que
se forme uma semana completa. A
construção da semana resultou em 461
postagens, sendo 262 do O Povo Online
e 199 do Tribuna do Ceará. (Lycarião,
Leite, 2020, p. 8)
6. Pré-teste das categorias e das regras de codificação
a. treinamento
b. revisão do livro de códigos
c. teste de confiabilidade-piloto

Riffe et al (2013)

O primeiro passo é familiarizar os codificadores com o material/conteúdo a

ser analisado.

Devem existir regras de codificação, incluindo quantas unidades de análise

podem ser feitas, o tempo máximo de uma sessão de codificação, a
necessidade de reler as regras antes de cada sessão.
INCT.DD| COMPADD 2021 99
Codificadores devem discutir o protocolo de
codificação com o supervisor/pesquisador e
também entre eles.

Devem ser apresentados problemas e dificuldades

na hora de codificar, assim como deixar claro como
estão codificando.

Como parte do processo de treinamento, o livro de

códigos pode ser revisado até que os codificadores
estejam confortáveis com o esquema de
codificação.
As revisões podem ser realizadas até que a
codificação comece.

INCT.DD| COMPADD 2021 100

 Treinamento - Passo a passo - Neuendorf
I) Escrever um livro de códigos com variáveis e categorias válidas para o
fenômeno de interesse da pesquisa
II) Treinamento dos codificadores com discussão
III) Codificadores praticam em conjunto, engajando em discussões que
buscam construir consensos
IV) Possíveis revisões do livro de código
V) Treinamento dos codificadores nas revisões
VI) Codificadores praticam a codificação de modo independente em um
número de unidades que represente a variedade da população estudada
VII) Codificadores discutem os resultados da prática de codificação
INCT.DD| COMPADD 2021 101
VIII) Possíveis revisões do livro de códigos
XIX) Treinamento dos codificadores nas revisões
X) Codificadores fazem uma codificação piloto numa amostra para testar a
confiabilidade
XI) Pesquisador verifica confiabilidade mediante uma operação matemática
que pondere a chance aleatória de concordância
XII) Possíveis revisões ao livro de códigos
XIII) Treinamento dos codificadores nas revisões
XIV) Codificação independente final (incluindo checagens de
confiabilidade). Nessa checagem, o cálculo do nível de confiabilidade deve
ponderar a chance aleatória de concordância
XV) Relato dos codificadores de suas experiências (Neuendorf 2002, p. 134).

INCT.DD| COMPADD 2021 102

Não se trata de uma codificação democrática ou mesmo baseada em uma
regra da maioria. Trata-se de padronizar as técnicas dos codificadores.
Seus métodos de codificação precisam ser calibrados para que eles vejam o
conteúdo da mesma forma, para poderem codificar independentemente,
sem discussão ou colaboração depois.

(Evitar) Problemas nos dados analisados

Bias do codificador – quando sua bagagem/opinião impacta

no código (alguém disse análise de valência?)

Erros de codificação (repetição, cansaço)

INCT.DD| COMPADD 2021 103

Ter um horário definido de codificação é importante

INCT.DD| COMPADD 2021 104

I. Explicações teóricas e metodológicas detalhadas
II. Familiarização com o conteúdo
III. Codificação inicial independente
IV. Comparação e verificação das divergências
V. Mudanças/melhorias no livro de códigos
VI. Codificação independente
VII. Repetição dos passos 4-6
Os passos 4-6 devem ser repetidos tantas vezes quantas necessárias28.
VIII. Teste de confiabilidade-piloto
Sampaio, Lycarião, 2021

INCT.DD| COMPADD 2021 105

Resumo
Explicações teóricas e metodológicas
detalhadas;
Familiarização com o conteúdo;
Testes independentes;
Discussões/esclarecimento com pesquisador e entre codificadores;
Usos de exemplos/ilustrações, argumentações, discussões entre grupos
para denotar as dificuldades.
Mudanças/melhorias no livro de códigos;
Sessões diversas de treinamento individual e conjuntas.
Consensos ad hoc (registrados no LdC). Sampaio, Lycarião, 2021
INCT.DD| COMPADD 2021 106
7. Treinamento final e teste de confiabilidade
7.1 Treinamento
7.2 Teste de confiabilidade entre codificadores
Então, a confiabilidade é o grau no qual membros de uma
certa comunidade confiam nas leitura, interpretações,
respostas e usos de certos textos e dados (Krippendorf
2004, p. 212).
Os testes de confiabilidade se dão a partir da comparação entre as
codificações de dois ou mais codificadores sobre um mesmo excerto
de material.
Em outras palavras, nos testes de confiabilidade, todos os codificadores
codificam exatamente o mesmo material, mas de forma independente.
Isso implica que eles não podem conversar ou trocar qualquer tipo de
informação entre si durante a codificação.
INCT.DD| COMPADD 2021 107
 Para, então, aumentar a confiabilidade de uma
pesquisa com AC, a comunidade especializada
sugere que sejam realizados testes de confiabilidade
entre codificadores.

Como procedimento central, esse tipo de teste requer que as variáveis

sejam verificadas por dois ou mais codificadores, em separado, ou seja,
tomando apenas como referência o livro de códigos.

A premissa é que, quanto mais esses codificadores concordarem entre si,

mais precisas seriam as categorias utilizadas na codificação.

INCT.DD| COMPADD 2021 108

 • De outro modo (caso exista uma discordância significativa), a
pesquisa estaria sob pena de ter suas variáveis e categorias
análise consideradas como imprecisas e, portanto, como não
fiáveis.

Enquanto os testes de confiabilidade

existem desde as primeiras codificações
de Lasswell e equipe (Kaplan & Goldsen
1982), é notável que sua maior exigência
se tornou o padrão da literatura
especializada apenas a partir da década
de 1990 (Lombard, Snyder-Duch &
Bracken 2002; Macnamara 2005).
INCT.DD| COMPADD 2021 109
A ideia de confiabilidade não visa anular a subjetividade do codificador, mas sim
padronizar as formas com que diferentes codificadores compreendem as
mesmas categorias analíticas, aumentando a chance que a interpretação que
estes codificadores fizeram do conteúdo analisado seja a mais próxima possível
de uma interpretação mínima comum, de caráter, portanto, intersubjetivo.
 Inicialmente, o resultado do teste de
confiabilidade era calculado apenas pela
concordância absoluta, ou seja,
comparando-se as codificações de modo
a obter a percentagem dos casos em que
houve concordância. Entretanto,
atualmente, esse é considerado um
procedimento bastante limitado.

Isso porque há variáveis (especialmente as dicotômicas) em que há uma

chance alta de concordância aleatória entre os codificadores. Novamente,
vale o exemplo da valência.
INCT.DD| COMPADD 2021 112
A estabilidade (também designada de “fiabilidade intracodificador” ou,
simplesmente, “consistência”) refere -se ao grau de invariabilidade de um
processo de codificação ao longo do tempo.
Ela diz respeito a situações de teste-reteste, em que um codificador duplica,
num momento posterior, o procedimento de codificação que aplicou a um
mesmo conjunto de dados.

Não existindo desvios relevantes entre as

codificações realizadas em ambos os
momentos, conclui -se que os resultados
são fiáveis.
Recomendamos para pesquisas individuais.
A reprodutividade (também denominada de “fiabilidade intercodificadores”,
“acordo intersubjetivo” ou meramente “consenso”) designa o grau em que é
possível recriar um processo de recodificação em diferentes circunstâncias,
com diferentes codificadores.

O caso mais típico refere -se à situação de teste-teste, em que dois

codificadores aplicam, de forma independente, as mesmas instruções de
codificação ao mesmo material, num determinado momento temporal.

A precisão consiste no grau em que um processo de codificação se conforma

funcionalmente com um padrão conhecido. Ela é determinada quando o
desempenho de um codificador ou de um instrumento de codificação é
comparado com um padrão de desempenho correto conhecido, previamente
estabelecido.
INCT.DD| COMPADD 2021 114
Recapitulando
A codificação/classificação de apenas uma pessoa é passível de crítica e
desconfiança
Desde o nascimento da análise de conteúdo científica, pensou-se em testes
de confiabilidade entre codificadores para lidar com a subjetividade.
O sarrafo aumentou tanto que passaram a considerar que a porcentagem de
concordância não era o suficiente, pois havia chance de concordância
aleatória.
Assim, o padrão internacional é de testes de confiabilidade
baseados em índices.

INCT.DD| COMPADD 2021 115

Krippendorff's α
Aplicável a quaisquer números de valores por
variável.

Aplicável a qualquer número de codificadores

(não apenas dois).

Aplicável para amostras grandes ou pequenas.

Aplicável para dados com valores ausentes.

INCT.DD| COMPADD 2021 116

Krippendorff's α

Do = Desacordo observado.
De: Desacordo esperado.

Quando o acordo é perfeito e o desacordo é ausente , Do = ° and a = 1,

indicando confiabilidade perfeita. Quando desacordo observado e esperado
são iguais, isso indica a ausência de confiabilidade, ou seja, -1.

INCT.DD| COMPADD 2021 117

Dados para confiabilidade devem exibir variação.

Para verificar a confiabilidade dos dados, a amostra precise ser

representativa da população (universo) no qual a confiabilidade está em
questão.

Para estabelecer a confiabilidade das instruções, a diversidade dos dados é

mais importante que sua representatividade.
Dados para confiabilidade devem conter cada categoria que o instrumento
distingue com uma frequencia grande o suficiente.

O que pode justificar oversampling de unidades raras e undersampling de

unidades recorrentes.

INCT.DD| COMPADD 2021 118

Variáveis confiáveis terão α = .800.

Considere variáveis com confiabilidade entre α = .667 e .800.

É errado fazer uma média de confiabilidade entre as diferentes variáveis

verificadas.

No caso de múltiplas variáveis, o menor resultado de confiabilidade das

variáveis deve ser considerado o resultado geral.

O risco de a taxa de fiabilidade ser baixa aumenta com:

quantidade de categorias a aplicar,
número de codificadores que intervêm;
grau de desestruturação do material a codificar.
INCT.DD| COMPADD 2021 119
Planilha para teste de confiabilidade
Ferramenta mais acessível: Recal www.dfreelon.org
Colocar as codificações em planilha (.csv), manter apenas os números da
codificação, sendo as linhas os casos e as colunas os codificadores.

INCT.DD| COMPADD 2021 120

2 codificadores: Recal 2 (é possível fazer todas as variáveis de uma vez,
separá-las a cada 2 colunas).

3+ codificadores: Recal 3 (uma variável por vez).

INCT.DD| COMPADD 2021 121

INCT.DD| COMPADD 2021 122
INCT.DD| COMPADD 2021 123
INCT.DD| COMPADD 2021 124
 Lycarião, Leite, 2020

INCT.DD| COMPADD 2021 125

Recapitulação
2+ Codificadores codificam de forma independente
uma amostra aleatória do corpus (40 unidades)

As duas (ou+) codificações são colocadas em formato .csv e sem quaisquer

textos.

Acessa-se o site www.dfreelong.org

Caso sejam 2 codificadores, escolhemos a ReCal2. Se forem 3 ou mais, Recal 3

Todas categorias precisam passar: α de Krippendorff > 0.667

INCT.DD| COMPADD 2021 126

8. Codificação
A codificação/classificação final, de fato, só começa nesta etapa.
A codificação se inicia quando cinco requisitos foram suficientemente
atendidos:
1) a unidade de análise foi definida;
2) a amostra foi definida e realizada;
3) o referencial de codificação, notadamente o livro de códigos, foi devidamente
revisado para aumentar a validade e a confiabilidade da pesquisa;
4) houve treinamento suficiente e adequado para os codificadores
participantes;
5) há um resultado considerado suficiente no teste de confiabilidade entre
codificadores inicial.
INCT.DD| COMPADD 2021 127
Assim, se todos os requisitos foram cumpridos, é hora de a codificação final
acontecer.

Seja na população geral de textos/conteúdos, seja na amostra, é

o momento de dividir o número total de unidade de análises entre os
codificadores aprovados no teste de confiabilidade.

Exatamente como nos testes de confiabilidade, cada um codifica de modo

independente, não havendo consulta entre si ou com o líder da pesquisa.

Por exemplo, se estão sendo analisadas 400 matérias jornalísticas em uma AC e

há quatro codificadores, basta cada um codificar 100 matérias distintas.

INCT.DD| COMPADD 2021 128

9. Teste de confiabilidade intermediário e final

No teste inicial, que ocorre antes da codificação, busca-se averiguar se as

categorias são confiáveis e se os codificadores participantes foram capazes de
assimilá-las dentro do padrão científico esperado dentro da AC (Lacy et
al., 2015). O teste intermediário, por sua vez, busca verificar se a codificação
não está caindo em sua qualidade. É um teste que pode ser bastante útil para
se verificar possíveis erros antes da conclusão da codificação completa.
Idealmente, ele deve ocorrer em torno de 40% a 50% da codificação final.

Finalmente, o teste de confiabilidade final ocorre após a conclusão da

codificação e busca justamente demonstrar que a codificação final manteve a
qualidade atestada pelo teste de confiabilidade inicial

INCT.DD| COMPADD 2021 129

I) Sucessivas codificações-piloto em uma amostra heterogênea
(mínimo de 10 unidades) levando a revisões do livro de códigos,
até que a confiabilidade se mostre aceitável (não aleatória).
II) Codificação independente final em amostra aleatória representativa
(sugerimos 10% da amostra, sendo o mínimo de 50 unidades).
III) Pesquisador verifica resultado do índice de confiabilidade.
VI) Se passar, relato dos codificadores de suas experiências. Em
caso de falha, retornar ao passo I ou excluir a variável da análise do
material completo.
V) Disponibilizar, na internet, o livro de códigos, a planilha de dados
codificada e o material da pesquisa.
VI) Apresentar um relato detalhado do processo no texto científico.
INCT.DD| COMPADD 2021 130
ANÁLISE
10. Tabulação e aplicação de procedimentos estatístico
Trata-se de algo particularmente complexo
Verificar em especial livros e manuais sobre estatística com dados categóricos.
Testes mais simples e interessantes são de qui-quadrado (que vai verificar se
duas variáveis estão ligadas ou não) e de resíduo padronizado, que vai mostrar
a direção da variação.

INCT.DD| COMPADD 2021 131

 Qual a área da Objeto político/social predominante analisado no artigo
atuação do/a 1
autor/a?
Políticas de esfera civil Governo Parlamento Campanhas Movimentos Instituições de sociabilidade N
comunicação/Econo não- /legislativo eleitorais sociais accountability
mia Política organizada
N Comunicação 28 51 17 9 7 14 2 5 133
Resíduos -1,1 3,8 -2,3 -0,2 -0,5 2,2 -1,5 -,1
N Ciência Política 7 12 6 7 12 4 1 1 50
Resíduos -1,7 0,1 -1,6 1,7 4,8 ,5 -,8 -,7
N Sociologia 8 4 4 1 1 0 0 1 19
Resíduos 1,4 -0,1 -,1 -,3 -,2 -1,0 -0,9 ,3
N Ciências Sociais 5 1 2 1 3 2 2 1 17
Resíduos 0,1 -1,6 -1,1 -0,3 1,7 0,9 1,4 ,3
N Campo de 9 3 11 2 0 0 4 0 29
Resíduos Públicas 0,7 -1,3 2,0 ,0 -1,3 -1,3 2,7 -1,0
N Ciência da 3 2 9 1 0 0 0 3 18
Resíduos Informação -1,1 -1,3 2,0 -,4 -1,2 -1,1 -,9 2,3
N Administração 11 4 15 4 0 1 0 1 36
Resíduos ,7 -1,4 2,6 ,9 -1,5 -0,7 -1,2 -,3
N Direito 28 15 12 3 2 1 5 3 69
Resíduos 2,4 -0,2 -0,9 -,9 -1,1 -1,5 1,2 ,2
N Ciência da 3 2 8 ,0 0,0 1 1,0 ,0 15
Computação
Resíduos -,3 -0,6 2,9 -1,0 -0,9 0,2 0,6 -,7
N Relações ,0 0 0 ,0 1 1 0,0 ,0 2
Internacionais
Resíduos -,7 -0,6 -0,6 -,4 2,7 2,8 -0,3 -,3
N Outros 8 3 11 3 1 1 3 2 32
Resíduos -,5 -1,8 1,0 ,2 -0,9 -0,8 1,2 ,4
Total 110 97 95 31 27 25 18 17 420

Teste de qui-quadrado valor: 240,669; gl: 120; sig ,000

INCT.DD| COMPADD 2021 132

 Qual a área da atuação do/a 1 Tipo de método utilizado no artigo
autor/a?
Quantitativo Qualitativo Bibliográfico Quanti/Qua N
li
N Comunicação 24 50 63 19 156
Resíduos -1,2 ,3 ,0 1,1
N Ciência Política 23 12 17 9 61
Resíduos 3,2 -1,5 -1,5 1,4
N Sociologia 7 5 7 3 22
Resíduos 1,3 -,7 -,6 ,7
N Ciências Sociais 5 9 6 2 22
Resíduos ,3 0,9 -1,0 ,0
N Campo de Públicas 7 13 9 3 32
Resíduos 0,3 1,0 -1,1 0,0
N Ciência da Informação 4 8 8 5 25
Resíduos -0,4 ,1 -,7 1,7
N Administração 11 18 10 2 41
Resíduos 1,0 1,5 -1,6 -,9
N Direito 5 19 57 0 81
Resíduos -2,8 -1,2 4,3 -2,8
N Ciência da Computação 1 8 7 0 16
Resíduos -1,2 1,4 0,2 -1,2
N Relações Internacionais 0 0 1 1 2
Resíduos -0,6 -0,8 0,2 1,9
N Outros 12 11 17 3 43
Resíduos 1,2 -0,6 -0,1 -0,5
Total 99 153 202 47 501

Teste de qui-quadrado valor: 83,263; gl: 30; sig ,000

INCT.DD| COMPADD 2021 133

http://www.cpop.ufpr.br/
INCT.DD| COMPADD 2021 134
ANÁLISE
11. Interpretar e reportar os resultados
• Os resultados da pesquisa (respostas às perguntas e hipóteses de
pesquisa).
• Limites da pesquisa e autoavaliação: quais os limites dos resultados? Há
sugestões metodológicas? Os esforços foram válidos? Trouxeram resultados
relevantes?
• Conclusão: onde a pesquisa se encontra? Estes resultados vão ao encontro ou
de encontro àqueles da literatura? O que podemos generalizar e o que é
especificidade do estudo? Quais são os mais promissores indicativos de futuras
pesquisas?

INCT.DD| COMPADD 2021 135

Inferência
Articulação entre:
a superfície do textos, descrita
e analisada (estruturas semânticas ou linguísticas)
Os fatores que determinaram estas características, deduzidos
logicamente (estruturas psicológicas ou sociológicas)

Podem responder, usualmente, a dois tipos de problemas:

O que conduziu a determinado enunciado?
Consequências de um determinado enunciado?

INCT.DD| COMPADD 2021 136

Inferência
Em AC quantitativas, muitas vezes a inferência está conectada às
análises estáticas;
Porém, a frequência simples e porcentagens já podem ajudar a fazer
boas interpretações e servem bem quando não há hipóteses ou para
estudos mais exploratórias.
Independente disso, é justamente a hora
de contexto, conhecimento da literatura
e criatividade entrarem em ação.

INCT.DD| COMPADD 2021 137

Taís Rocha FIGUEIRA
Aline Cristine Souza LOPES
Celina Maria MODENA
Entrevistas
Carolina Martins
dos Santos
CHAGAS
Raquel Braz
Assunção
BOTELHO
Natacha TORAL
Materiais
elaborados por
adolescentes
12. Validação e replicabilidade (+ transparência!!)

AC enquanto técnica científica: o mais recomendável é que o próprio campo

científico no qual a pesquisa se insere seja justamente o melhor árbitro para
avaliar a validade do estudo em tela.

A simples apresentação dos resultados pode ser pouco para uma avaliação
adequada. Como já insistimos em outros pontos, o ideal é que os pares
possuam mais material para analisar a qualidade da AC em questão.
Nomeadamente, é preciso tornar o livro de códigos completo disponível

O LdC, em conjunto com a revisão teórica e a pergunta de pesquisa, são

premissas básicas para a avaliação da validade de qualquer AC.

INCT.DD| COMPADD 2021 141

Tornar disponível o LdC também é essencial para a replicabilidade do
estudo.
Entretanto, no caso desta, também se faz necessária a acessibilidade
ao mesmo material analisado, estando o mesmo em condição equivalente
ou suficiente para uma nova codificação externa ao contexto da pesquisa
original.
É necessário disponibilizar o material e/ou banco de dados que serviu de base
para a pesquisa

INCT.DD| COMPADD 2021 142

 Sampaio et al, 2021 (livro de códigos)
INCT.DD| COMPADD 2021 143
 Sampaio et al, 2021 (banco de dados)
INCT.DD| COMPADD 2021 144
sugerimos que:
1) o LdC já seja disponibilizado assim que a pesquisa for apresentada
2) o banco de dados seja disponibilizado, caso solicitado (e.g. por um periódico
ou por partes) ou depois da publicação do artigo científico (assim, a
originalidade da pesquisa já estará garantida).

Em ambos os casos, o ideal é a publicação em

repositórios institucionais e fixos e não em páginas
aleatórias da internet, que poderão deixar de
existirno futuro breve.

INCT.DD| COMPADD 2021 145

Obrigado!
INCT.DD| COMPADD 2021 146
Referências (manuais)

• ALONSO, Sonia; VOLKENS, A.; GÓMEZ, B. Análisis de contenido de textos políticos: un enfoque cuantitativo.
CIS, 2012.
• DRISKO, James W.; MASCHI, Tina. Content analysis. Oxford University Press, USA, 2016.
• MIKKONEN, Kristina; KYNGÄS, Helvi. Content analysis in mixed methods research. The application of content
analysis in nursing science research, p. 31-40, 2020.
• MAYRING, Philipp. Qualitative content analysis: theoretical foundation, basic procedures and software
solution. 2014.
• KRIPPENDORFF, K. Content analysis: an introduction to its methodology. Londres: Sage, [1980] 2004.
• NEUENDORF, K. The content analysis guidebook. Londres: Sage, 2002.
• RIFFE, D.; LACY, S.; FICO, F. Analyzing media messages: using quantitative content analysis in research.
Londres: Routledge, 2014.
• SAMPAIO, Rafael Cardoso; LYCARIÃO, Diógenes. Análise de conteúdo categorial: manual de aplicação.
Brasília: Enap, 2021.
• SCHREIER, Margrit. Content analysis, qualitative. SAGE Publications Ltd, 2019.
INCT.DD| COMPADD 2021 147
Referências (estado da arte da AC)
• CASTRO, T. G. DE; ABS, D.; SARRIERA, J. C. Análise de conteúdo em pesquisas de Psicologia. Psicologia: Ciência e Profissão, v. 31, n. 4, p. 814–
825, 2011a.
• GOMES, A. F.; BOCKORNI, B. R. S.; SANTOS, A. Z. P. M.; NASCIMENTO, K. D. J. As contribuições da Análise de Conteúdo e do Discurso para os
estudos em Administração. Revista Foco, v. 13, n. 1, p. 146–170, 2020.
• MARTINEZ, M.; PESSONI, A. Intercom: pesquisas feitas com o método (1996 a 2012). In: T. de M. Jorge (Org.); Notícia em fragmentos: análise
de conteúdo no jornalismo. p.299–319, 2015. Florianópolis: Editora Insular.
• NASCIMENTO, O. A. DOS S.; CABRAL, D. P. E; CAVALCANTE, F. R.; REZENDE, M. S.; FILHO, A. L. Os usos da Análise de Conteúdo na produção
científica da Educação Física brasileira. Atas CIAIQ2019 - Investigação Qualitativa em Educação. Anais... . v. 1, p.498–506, 2019.
• PALMEIRA, L. L. DE L.; CORDEIRO, C. P. B. S.; PRADO, E. C. DO. A análise de conteúdo e sua importância como instrumento de interpretação
dos dados qualitativos nas pesquisas educacionais. Cadernos de Pós-graduação, v. 19, n. 1, p. 14–31, 2020.
• QUADROS, M.; ASSMANN, G.; LOPEZ, D. C. A análise de conteúdo nas pesquisas brasileiras em comunicação: aplicações e derivações do
método. In: E. M. da R. Barichello; A. Rublescki (Orgs.); Pesquisa em comunicação: olhares e abordagens. p.89–108, 2014. Santa Maria: Facos
– UFSM.
• SAMPAIO, R. C.; LYCARIÃO, D. B. S. ; CODATO, A. N. ; MARIOTO, D. J. F. ; BITTENCOURT, M. ; SANCHEZ, C. S. . Mapeamento e reflexões sobre o
uso da análise de conteúdo na SciELO-Brasil (2002-2019). New Trends on Qualitative Research, v. 15, p. 1, 2022.
• SAMPAIO, R. C.; SANCHEZ, C. S. ; MARIOTO, D. J. F. ; ARAUJO, B. C. S. ; HEREDIA, L. H. O. ; PAZ, F. S. ; TIGRINHO, C. S. ; SOUZA, J. R. . Muita
Bardin, pouca qualidade: uma avaliação sobre as análises de conteúdo qualitativas no Brasil. REVISTA PESQUISA QUALITATIVA, v. 10, p. 464-
493, 2022.
• SERAMIM, R. J.; WALTER, S. A. O que Bardin diz que os autores não mostram? Estudo das produções científicas brasileiras do período de
1997 a 2015. Administração: Ensino e Pesquisa, v. 18, n. 2, p. 241–269, 2017.
• SILVA, A. H.; CUNHA, D. E.; GASPARY, E.; et al. Análise de conteúdo: fazemos o que dizemos? Um levantamento de estudos que dizem adotar
a técnica. Conhecimento Interativo, v. 11, n. 1, p. 168–184, 2017.
INCT.DD| COMPADD 2021 148
Referências (outras)
• AMARANTE, Erivelto Diego; SAMPAIO, Rafael Cardoso. A imagem pública nos 100 primeiros dias de governo: uma análise
de entrevistas do portal G1 com prefeitos em início de mandato. Intexto, n. 52, p. 96617, 2021.
• Bauer, M. Análise de conteúdo clássica: uma revisão. In: Bauer, M.; Gaskell, G. (Orgs.). Pesquisa qualitativa com texto,
imagem e som: um manual prático. Petrópolis, Editora Vozes, p.189-217, 2007.
• BORBA, Felipe. Medindo a propaganda negativa na TV, rádio, debates, imprensa e Facebook: o caso das eleições
presidenciais de 2014. Intercom: Revista Brasileira de Ciências da Comunicação, v. 42, p. 37-56, 2019.
• Carlomagno, M.; Rocha, L. Como criar e classificar categorias para fazer análise de conteúdo: uma questão metodológica.
Revista Eletrônica de Ciência Política, v.7, n.1, 2016.
• Chagas, V.; Freire, F.; Rios, D.; Magalhães, D. A política dos memes e os memes da política: proposta metodológica de
análise de conteúdo de memes dos debates eleitorais de 2014. Intexto, n. 38, p. 173-196, 2017.
• Downe-Wamboldt, B. Content analysis: method, applications, and issues. Health care for women international, v. 13, n.
3, p. 313-321, 1992.
• FERES JÚNIOR, João; SASSARA, Luna. O cão que nem sempre late: o Grupo Globo e a cobertura das eleições presidenciais
de 2014 e 1998. Compolítica, v. 6, n. 1, p. 30-64, 2016.
• Figueiredo, M.; Aldé, A.; Dias, H., Jorge, V. Estratégias de persuasão eleitoral: uma proposta metodológica para o estudo
da propaganda eleitoral. Opinião Pública, v. 4, n. 3, p. 109-120, 1997.
• HUERTAS, Melby Karina Zuniga; SEGURA, Antonio Cássio. Informação e emoção na propaganda: uma análise de
conteúdo na Internet no Brasil. Revista Brasileira de Marketing, v. 10, n. 3, p. 127-150, 2011.

INCT.DD| COMPADD 2021 149

Referências (outras)
• KLEINA, Nilton Cesar Monastier; SAMPAIO, Rafael Cardoso. " Não sou eu quem está falando": A retórica de autoridade
em vlogs da Direita brasileira no YouTube sobre a vacina contra a COVID-19. Revista ECO-Pós, v. 24, n. 2, p. 175-200,
2021.
• LEITE, Fernando. O campo de produção de Ciência Política brasileira contemporânea: uma análise histórico-estrutural de
seus princípios de divisão a partir de periódicos, áreas e abordagens. Tese (doutorado em Ciência Política) 2015.
Disponível em: https://www.acervodigital.ufpr.br/handle/1884/37966.
• Lombard, M.; Snyder-Duch, J.; Bracken, C. Content analysis in mass communication: Assessment and reporting of
intercoder reliability. Human communication research, v. 28, n. 4, p. 587-604, 2002.
• LYCARIÃO, Diógenes; LEITE, Ana Beatriz. Política no Facebook: Emergência de novos padrões de compartilhamento de
notícias em tempos de crise. E-Compós. 2020.
• Macnamara, J. Media content analysis: Its uses, benefits and best practice methodology. Asia-Pacific Public Relations
Journal, v. 6, n. 1, 2005.
• Macqueen, K. M.; Mclellan, E.; Kay, K.; Milstein, B. Codebook development for team-based qualitative analysis. Cam
Journal, v. 10, n. 2, p. 31-36, 1998.
• MORAES, Roque. Uma experiência de pesquisa coletiva: introdução à análise de conteúdo. A construção do
conhecimento e sua mediação metodológica. Porto Alegre: EDIPUCRS, p. 111-129, 1998.

INCT.DD| COMPADD 2021 150

Referências (outras)
• Panke, L.; Cervi, E. Análise da comunicação eleitoral: uma proposta metodológica para os estudos do HGPE.
Contemporanea, v. 9, n. 3, p. 390-404, 2012.
• RIZZOTTO, Carla; PRUDENCIO, Kelly; SAMPAIO, Rafael Cardoso. Tudo normal: a despolitização no enquadramento
multimodal da cobertura do impeachment de Dilma Rousseff. Comunicação & Sociedade, v. 39, n. 3, p. 111-130, 2017.
• SAMPAIO, Rafael Cardoso; BRAGATTO, Rachel Callai; NICOLÁS, Maria Alejandra. A construção do campo de internet e
política: análise dos artigos brasileiros apresentados entre 2000 e 2014. Revista Brasileira de Ciência Política, p. 285-320,
2016.
• SAMPAIO, R. C.; FREITAS, C. S. ; KLEINA, N. C. M. ; MARIOTO, D. J. F. ; NICHOLS, B. W. ; BORGES, T. P. F. S. ; ALISON, M. B.;
BOZZA, G. A. ; HAUSEN, V. . Democracia Digital no Brasil: mapeamento e análise de artigos publicados em periódicos
entre 1999-2018. Boletim de Análise Político-Institucional, v. 25, p. 23-32, 2021.
• SANTOS, Nina; ALMADA, Maria Paula . Midiativismo em rede: Twitter e as críticas aos meios de comunicação tradicionais
em um sistema híbrido de comunicação. ESFERAS, p. 18, 2019.
• SOUZA, Cássia Luã Pires de; GARCIA, Rosane Nunes. Uma análise do conteúdo de Botânica sob o enfoque Ciência-
Tecnologia-Sociedade (CTS) em livros didáticos de Biologia do Ensino Médio. Ciência & Educação (Bauru), v. 25, p. 111-
130, 2019.
• Stemler, S. An overview of content analysis. Practical assessment, research, and evaluation, v. 7, n. 1, p. 17, 2000.
• White, M.; Marsh, E. Content analysis: A flexible methodology. Library trends, v. 55, n. 1, p. 22-45, 2006.

INCT.DD| COMPADD 2021 151

 Obrigado!
compadd.ufpr.br
[email protected]

INCT.DD| COMPADD 2021 152

Rafael Cardoso Sampaio
Professor do Departamento de Ciência Política da UFPR
Pesquisador do Instituto Nacional de Ciência e Tecnologia em
Democracia Digital (INCT.DD)
Bolsista produtividade CNPq 1D
Líder do grupo de pesquisa Comunicação Política e Democracia
Digital (COMPADD)
Lattes / Google Scholar
Email / Twitter
LinkedIn / Site