REVISO

REVIEW

2095

Reviso das dimenses de qualidade dos dados e mtodos aplicados na avaliao dos sistemas de informao em sade Review of data quality dimensions and applied methods in the evaluation of health information systems

Claudia Risso de Araujo Lima 1 Joyce Mendes de Andrade Schramm 2 Claudia Medina Coeli 3 Mrcia Elizabeth Marinho da Silva 1

Abstract
Secretaria Executiva, Ministrio da Sade, Rio de Janeiro, Brasil. 2 Escola Nacional de Sade Pblica Sergio Arouca, Fundao Oswaldo Cruz, Rio de Janeiro, Brasil. 3 Instituto de Estudos em Sade Coletiva, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil.
1

Introduo
O Brasil dispe de uma ampla rede de Sistemas de Informao em Sade (SIS) de mbito nacional, com grande parte de suas informaes disponvel na Internet (Departamento de Informtica do SUS; http://www.datasus.gov.br). A apropriao dessas informaes pelos gestores e pela sociedade organizada para subsidiar suas atividades deve considerar seus pontos fortes e suas limitaes, resultado de avaliaes regulares e sistemticas dos dados disponibilizados. A garantia de uma informao de qualidade condio essencial para a anlise objetiva da situao sanitria, para a tomada de decises baseadas em evidncias e para a programao de aes de sade 1. Demonstrando a importncia dada qualidade da informao, o Fundo Monetrio Internacional (FMI) relaciona em sua pgina da Internet as iniciativas de 18 pases para melhoria das estatsticas econmicas e disponibiliza um modelo para aprimoramento e avaliao das informaes: Data Quality Assessment Framework (DQAF. http://desbb.imf.org/Applications/web/dqrs/ dqrsapproaches, acessado em 27/Abr/2007). O escritrio de estatstica da comunidade europia (Eurostat) adaptou esse modelo para os pases europeus, criando o Quality Declaration of the European Statistics System. Na rea de tecnologia da informao o desenvolvimento de metodologias para avaliao da qualidade dos bancos de

Correspondncia C. R. A. Lima Secretaria Executiva, Ministrio da Sade. Rua Mxico 128, 8 o andar, Rio de Janeiro, RJ 20031-142, Brasil. [email protected]

In Brazil, quality monitoring of data from the various health information systems does not follow a regular evaluation plan. This paper reviews quality evaluation initiatives related to the Brazilian information systems, identifying the selected quality dimensions and the method employed. The SciELO and LILACS databases were searched, as were the bibliographical references from articles identified in the search. 375 articles were initially identified, leaving a final total of 78 after exclusions. The four most frequent dimensions in articles totaled approximately 90% of the analyses. The studies prioritized certain quality dimensions: reliability, validity, coverage, and completeness. Half of the studies were limited to data from Rio de Janeiro and So Paulo. The limited number of studies on some systems and their unequal distribution between regions of the country hinder a comprehensive quality assessment of Brazils health information systems. The importance of accurate information highlights the need to implement a data management policy for health information systems in Brazil. Information Systems; Database; Evaluation

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2096

Lima CRA et al.

dados se baseia nos princpios de gerenciamento da qualidade total 2,3,4,5. Na rea da sade, alguns pases investem recursos considerveis em atividades que visem a garantir a qualidade dos dados, incluindo capacitao peridica dos profissionais envolvidos com a produo e anlise dos dados, alm de um monitoramento regular dos dados disponibilizados pelos sistemas. Com o intuito de apoiar os pases menos desenvolvidos a aprimorar a qualidade da informao em sade, instituies internacionais se uniram Organizao Mundial da Sade (OMS) criando uma metodologia 6 (Health Metrics Network) que tem sido implementada nos pases interessados, com apoio de recursos financeiros, metodolgicos e tecnolgicos. A Organizao Pan-Americana da Sade (OPAS) vem apoiando a utilizao de uma ferramenta de avaliao da qualidade das informaes dos SIS (Performance of Routine Information System Management). Essa ferramenta mede no apenas a qualidade do dado produzido, mas tambm o uso contnuo dos dados, a facilidade de operao das fases de coleta, a anlise dos dados e a infra-estrutura necessria ao funcionamento do SIS. A definio terica para o termo qualidade da informao ainda no obteve consenso, sendo este considerado uma categoria multidimensional 7, visto como um conceito multifacetado. Observam-se, nas diversas metodologias, distintas vises do objeto analisado, conforme a sua abordagem. Para este estudo, utilizou-se um conceito que vem sendo utilizado usualmente: uma informao de qualidade aquela apta/ conveniente para o uso, em termos da necessidade do usurio 8. No Brasil, o monitoramento da qualidade dos dados dos SIS no segue um plano regular de avaliaes, normatizado pelo Ministrio da Sade, resultando em iniciativas no sistemticas e isoladas. Com o intuito de subsidiar discusses sobre avaliao das informaes dos SIS de mbito nacional do Brasil, este artigo revisa as iniciativas de avaliao da qualidade das informaes dos sistemas brasileiros que descrevem as dimenses de qualidade abordadas e os mtodos utilizados. Esse estudo se limita a um trecho do ciclo de vida de um SIS: o intervalo entre a coleta dos dados e a disseminao das informaes. No abordado o uso da informao, dimenso incorporada na maioria das metodologias de avaliao da informao de SIS.

Metodologia
Para a busca de artigos publicados em revistas cientficas foram consultadas as bases de dados SciELO (Scientific Electronic Library Online), LILACS (Literatura Latino-Americana e do Caribe em Cincias da Sade) e BVS (Biblioteca Virtual de Sade Pblica). Adicionalmente, foram verificadas as referncias bibliogrficas dos artigos identificados pelas fontes relacionadas acima. Foram includos no estudo apenas os artigos, dissertaes ou teses que descreveram os mtodos utilizados para avaliar a qualidade dos dados dos SIS de mbito nacional do Brasil, sem exigir que tivessem como objetivo a anlise das informaes. No foram includos editoriais ou artigos de reviso. Os seguintes descritores foram empregados: avaliao e sistemas de informao, confiabilidade e agravos, confiabilidade e internao e hospitalar, confiabilidade e sistemas de informao, confiabilidade e validade, qualidade e ambulatrio, qualidade e informao e ambulatorial, qualidade e sistemas de informao, qualidade e sistemas de informao e agravos, qualidade e sistemas de informao e ambulatorial, qualidade e sistemas de informao e financiamento, qualidade e sistemas de informao e internao, qualidade e sistemas de informao e mortalidade, qualidade e sistemas de informao e nascidos vivos, sub-registro, validade e sistemas de informao. A opo de utilizar um nmero grande de descritores teve como objetivo aumentar a sensibilidade da pesquisa. Alguns estudos avaliaram mais de uma dimenso de qualidade, sendo relacionados em cada uma delas. Para a categorizao dos estudos conforme a dimenso de qualidade analisada utilizaram-se as seguintes definies conceituais: (1) Acessibilidade: grau de facilidade e rapidez na obteno dos dados ou informaes (regras claras definindo preo, permisses e onde obtlos), no trato (instrumentos para manuseio e formato) e na compreenso da informao 9; (2) Clareza metodolgica: grau no qual a documentao que acompanha o SIS (instrues de coleta, manuais de preenchimento, tabelas de domnios de valores de variveis, modelos de dados etc.) descreve os dados sem ambigidades, de forma sucinta, didtica, completa e numa linguagem de fcil compreenso 2,10,11; (3) Cobertura: grau em que esto registrados no SIS os eventos do universo (escopo) para o qual foi desenvolvido 7; (4) Completitude: grau em que os registros de um SIS possuem valores no nulos 2;

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2097

(5) Confiabilidade: grau de concordncia entre aferies distintas realizadas em condies similares 12,13; (6) Consistncia: grau em que variveis relacionadas possuem valores coerentes e no contraditrios 7,8; (7) No-duplicidade: grau em que, no conjunto de registros, cada evento do universo de abrangncia do SIS representado uma nica vez 3; (8) Oportunidade: grau em que os dados ou informaes esto disponveis no local e a tempo para utilizao de quem deles necessita; (9) Validade: grau em que o dado ou informao mede o que se pretende medir 9. Os mtodos aplicados pelos estudos para realizar as avaliaes foram classificados em: (1) Painel de especialistas: profissionais com experincia no assunto abordado, reunidos para a avaliao e emisso de um parecer; (2) Busca ativa de registros: coleta de novos registros em documentos originais, em entrevistas ou inquritos ou fontes diversas (igrejas, Instituto Mdico Legal, polcia, cartrios, cemitrios etc.); (3) Comparao com critrios: comparao do diagnstico ou da causa do bito com critrios aceitos pela comunidade cientfica; (4) Anlise descritiva: indicadores de distintos bancos de dados comparao entre indicadores obtidos em bancos de dados distintos, a partir de cortes seccionais; (5) Anlise descritiva: indicadores do prprio banco de dados anlise descritiva a partir de um corte seccional no banco de dados, obtendo indicadores a partir de dados obtidos nos demais campos (diagnstico no compatvel com sexo ou idade, percentual de campos sem informao, percentual de causas de bito classificadas no captulo da Classificao Internacional de Doenas CID como mal definida, testes estatsticos, sensibilidade, especificidade, valores preditivos positivos e negativos); (6) Concordncia entre avaliadores: comparao dos dados do sistema analisado com dados considerados confiveis, obtidos em diferentes fontes banco de dados secundrios, banco de dados elaborado a partir de distintas fontes de informao, de dados primrios (inquritos domiciliares ou hospitalares) ou de registros originais declaraes de bitos, pronturios, declaraes de nascidos vivos, formulrios de notificao; (7) Relacionamento entre registros: linkage intrabanco de dados ou inter-bancos de dados utilizando ou no o mtodo de captura-recaptura (cada fonte de morbidade considerada uma amostra aleatria simples da populao alvo) 14; (8) Srie temporal: estudo longitudinal que analisa a coerncia da tendncia observada e a estabilidade dos dados.

A qualidade dos estudos selecionados foi avaliada segundo cinco parmetros obtidos em artigos de reviso sistemtica 15,16,17,18 sobre avaliao de qualidade das informaes de um sistema: (1) O estudo ter como objetivo uma avaliao das informaes de um SIS: foi considerado quando explicitamente descrito no artigo, sendo analisado em todos os estudos; (2) Os autores terem realizado anlises e testes estatsticos para os resultados encontrados: foi considerado realizado se foi explicitamente declarado no estudo. Item analisado em todos os estudos; (3) O estudo utilizou como padro ouro um instrumento prximo da realidade: os estudos de reviso consultados consideram que dados primrios (entrevistas, exames, observao do paciente ou medidas objetivas) so fontes de dados mais fidedignas do que as obtidas em documentos originais ou em outros bancos de dados secundrios. Esse item foi analisado apenas para os artigos que utilizaram metodologias de avaliao de concordncia entre dados; (4) O estudo apresentou um percentual de perdas pequeno (inferior a 10%): analisado apenas para os artigos que utilizaram metodologias de concordncia entre banco de dados e registros originais; (5) Os autores explicitaram a capacidade da equipe que re-codificou os diagnsticos: foi definido como realizado se foi declarada a capacidade j existente dos codificadores, ou uma nova capacitao da equipe para codificao dos diagnsticos. Item analisado apenas para os artigos que utilizaram metodologia de concordncia entre dados do banco de dados e um padro ouro.

Resultados
A pesquisa identificou 375 artigos. O processo de identificao e incluso de artigos para a reviso est apresentado no esquema da Figura 1. Foram excludos 96 artigos apresentados em duplicidade e 19 estudos sobre bancos de dados de outros pases, restando 260 artigos. Destes, foram excludos 101 artigos: 49 discorriam sobre assuntos distintos da rea de sade, como avaliao de bancos de dados fora da rea de sade (registro civil ou acidente de trabalho) ou qualidade da ateno, qualidade do servio ou qualidade de vida; 48 apenas descreviam a aplicao de tcnicas de relacionamento entre bancos de dados, sugeriam tcnicas estatsticas para estimao de sub-registro ou avaliavam instrumentos de pesquisa e 4 artigos que avaliaram programas de sade. Restaram 159 textos completos para se-

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2098

Lima CRA et al.

Figura 1 Diagrama do processo de identicao e incluso de referncias para a reviso sistemtica.

Nmero total de artigos identificados 375

Outro pas 19

Duplicatas 96

Ttulos/Resumos avaliados 260

Excludos 101

Textos completos avaliados 164

Excludos 106

Textos completos com referncias bibliogrficas avaliadas 58

Citaes 20

Includos 78

rem avaliados, aos quais foram acrescidos cinco artigos constantes da revista no indexada sobre epidemiologia, do Ministrio da Sade: Informe Epidemiolgico do SUS. Dos 164 textos completos analisados foram excludos 106 artigos que descreviam estudos epidemiolgicos sem avaliar a qualidade das informaes obtidas ou avaliavam os dados dos registros originais. A partir das referncias bibliogrficas dos 58 artigos restantes, foi possvel incorporar 20 arti-

gos, totalizando os 78 artigos inseridos nesta reviso: 48% referentes ao Sistema de Informaes sobre Mortalidade (SIM), 21% analisaram o Sistema de Informaes de Agravos de Notificao (SINAN), 15% estudaram o Sistema de Informaes sobre Nascidos Vivos (SINASC), 12% avaliaram o Sistema de Informaes sobre Internaes Hospitalares do SUS (SIH-SUS) e 3% avaliaram o Sistema de Informaes sobre Atendimentos Ambulatoriais (SIA-SUS) e um artigo analisou o Sistema de Informaes sobre Oramentos Pblicos em Sade (SIOPS). Cerca de 90% dos estudos selecionados tiveram como objetivo a anlise da qualidade dos dados, 47% realizaram testes estatsticos sobre os resultados encontrados em suas anlises e 34% utilizaram informaes obtidas em entrevistas para as avaliaes de concordncia dos dados. Aproximadamente 65% dos trabalhos que informaram perdas obtiveram valores inferiores a 10% e mais da metade das publicaes (55%) identificaram a capacidade do pesquisador de realizar as codificaes das causas de bito ou dos diagnsticos. Os estudos analisaram prioritariamente dados a partir da dcada de 90 (71%). Destes, aproximadamente a metade avaliou dados referentes aos anos 90, em torno de 30% analisaram dados a partir de 2000 e 20% estudaram simultaneamente estes perodos. A dcada de 80 foi analisada por 26% dos estudos, a metade avaliando dados das dcadas de 80 e 90 e a outra metade, dados apenas dos anos 80. A dcada de 70 foi analisada por 1% dos estudos. O interesse por este tipo de estudo aumentou nos ltimos anos, conforme demonstra o percentual de publicaes a partir do ano 2000 (67%). Na dcada de 90 foram publicados 31% dos estudos selecionados e nos anos 80 publicaram-se 4% dos artigos. Na Figura 2 apresentada a distribuio das dimenses de qualidade analisadas por todos os estudos. As quatro dimenses mais analisadas: confiabilidade, completitude, cobertura e validade, totalizam cerca de 90% das anlises realizadas pelos estudos selecionados. As demais dimenses, oportunidade, no-duplicidade, consistncia, acessibilidade e clareza metodolgica foram pouco exploradas, com percentuais inferiores a 4%. Diversos estudos analisaram simultaneamente mais de uma dimenso de qualidade, totalizando 128 avaliaes realizadas pelos 78 estudos: (a) os 38 estudos que analisaram o SIM realizaram 59 avaliaes; (b) os 16 artigos sobre o SINAN realizaram 26 avaliaes; (c) os 12 estudos sobre o SINASC realizaram 25 avaliaes; (d) os 9 estudos sobre o SIH-SUS realizaram 14 avalia-

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2099

Figura 2 Percentual de avaliaes segundo a dimenso de qualidade avaliada.

40

35

30 25

20

15

10

0 Confiabilidade Completitude (n = 28) (n = 43) Cobertura (n = 27 Validade (n = 14) Oportunidade (n = 5) No duplicidade (n = 4) Consistncia (n = 3) Acessibilidade (n = 2) Clareza metodolgica (n = 2) Dimenses de qualidade

es; (e) os 2 artigos sobre o SIA-SUS realizaram 3 avaliaes. Apenas o estudo sobre o SIOPS avaliou uma dimenso. Na Figura 3 apresentada a distribuio das avaliaes nas distintas dimenses de qualidade em cada sistema de informao. Sua anlise deve considerar a diferena entre as quantidades de estudos por sistema. Observa-se que os estudos relativos aos sistemas priorizaram distintas dimenses de qualidade, em detrimento das demais, com exceo apenas do SIA-SUS, que apresentou apenas uma avaliao para cada dimenso analisada. Metade das avaliaes sobre o SIH-SUS foi relativa confiabilidade dos dados. Essa dimenso foi a mais analisada tambm no SIM e a segunda dimenso prioritria para as avaliaes sobre o SINASC e sobre o SINAN. Essa dimenso tambm recebeu destaque dentre as anlises realizadas para o SIA-SUS e para o SIOPS. Completitude foi a segunda dimenso mais avaliada nas anlises referentes ao SIM, ao SINASC e ao SINAN. No SIH-SUS esta dimenso apresentou uma importncia menor. Aproximadamente 40% das avaliaes referentes ao SINAN so relativas cobertura do sistema, dimenso tambm importante nas anlises sobre o SINASC e sobre o SIM. Apenas uma avaliao sobre essa dimenso foi realizada para o SIH-SUS e para o SIA-SUS.

Validade foi a segunda dimenso mais analisada no SIH-SUS, sendo importante tambm no SIM. Nas anlises sobre o SINASC e sobre o SINAN essa dimenso teve uma expresso pequena, no apresentando anlises para o sistema SIA-SUS. Consistncia foi analisada apenas para o SIM, oportunidade para o SINAN e SINASC, clareza metodolgica para o SIM e SINASC, no-duplicidade para o SIH-SUS e SINAN. A identificao dos artigos que analisam as diferentes dimenses de qualidade em cada sistema de informao pode ser obtida na Tabela 1. Na Tabela 2 obtm-se as dimenses analisadas e os mtodos utilizados em suas avaliaes. Foram utilizados diferentes mtodos para a execuo das avaliaes das quatro dimenses mais freqentes: confiabilidade, completitude, cobertura e validade. Observa-se uma maior diversidade de opes de mtodos aplicados para avaliar a confiabilidade dos dados e a cobertura do sistema. As avaliaes para as demais dimenses se restringiram a um mesmo mtodo cada uma. O mtodo painel de especialistas foi utilizado para avaliar a clareza metodolgica dos documentos, a oportunidade e a acessibilidade dos indicadores. A dimenso cobertura foi avaliada prioritariamente atravs de mtodos de anlises indi-

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2100

Lima CRA et al.

Figura 3 Percentual de dimenses de qualidade analisadas segundo o sistema de informao.

100

Clareza metodolgica Acessibilidade

80

Consistncia

No duplicidade 60 Oportunidade Validade 40 Completitute Cobertura 20 Confiabilidade

0 SIM SINAN SINASC SIH -SUS SIA -SUS Sistema de informao

Nota: o estudo relativo ao Sistema de Informaes sobre Oramentos Pblicos em Sade (SIOPS) analisou apenas a dimenso de qualidade conabilidade. SIM: Sistema de Informaes sobre Mortalidade; SINAN: Sistema de Informaes de Agravos de Notificao; SINASC: Sistema de Informaes sobre Nascidos Vivos; SIH-SUS: Sistema de Informaes sobre Internaes Hospitalares do SUS; SIA-SUS: Sistema de Informaes sobre Atendimentos Ambulatoriais.

vidualizadas de registros. O mtodo relacionamento entre registros se mostrou uma importante ferramenta para anlises desta dimenso de qualidade, sendo utilizado em quase metade das avaliaes. O mtodo anlise descritiva indicadores de distintos bancos de dados foi utilizado para avaliaes desta dimenso comparando a freqncia de eventos entre distintos bancos de dados. A busca ativa de novos registros, em entrevistas ou coletas em distintas fontes, tambm se apresentou como uma ferramenta importante para anlises desta dimenso de qualidade. A anlise atravs da evoluo da srie temporal no se mostrou um mtodo importante para avaliaes desta dimenso de qualidade. O clculo do percentual de campos sem informao no banco de dados foi utilizado em quase 80% das anlises da dimenso completitude. Aproximadamente 15% das avaliaes verificaram o preenchimento dos campos nos registros originais e apenas um pequeno percentual das anlises avaliou o preenchimento

das variveis ao longo do tempo utilizando-se do mtodo de srie temporal. Os artigos que analisaram a dimenso confiabilidade dos dados adotaram, prioritariamente, a metodologia de concordncia interavaliadores, tendo como fonte principal de comparao os registros originais. Esses estudos, em sua maioria, aplicaram o teste estatstico kappa de Cohen, que considera a probabilidade de concordncia devido ao acaso. O mtodo relacionamento entre registros foi utilizado para comparar o contedo dos campos de distintos sistemas. A duplicidade de registros foi verificada atravs da aplicao do mtodo de relacionamento entre os registros de um mesmo banco de dados. Para avaliar a validade das informaes disponveis nos bancos de dados foram realizados principalmente os clculos da sensibilidade (probabilidade de identificar corretamente os verdadeiros positivos), especificidade (probabilidade de identificar corretamente os verdadei-

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2101

Tabela 1 Estudos inseridos na reviso por Sistemas de Informao de Sade (SIS) segundo a dimenso de qualidade analisada. Dimenso de qualidade Acessibilidade Clareza metodolgica Cobertura Completitude Confiabilidade
55

SIH-SUS

SIM
57 57 59,60,61,62,63, 64,65,66

SINASC
58 58 67,68,69,70, 71,72,73 58,67,98,99, 100,101,102 67,98,99,100, 101,102

SINAN

SIA-SUS

SIOPS

51,74,75,76,77, 78,79,80,81,82,83 51,74,103,104

84

53,85

57,62,63,86,87,88, 89, 90,91,92,93,94,95,96,97

52, 53,54,55, 105,106,107

59,60,61,86,87,88,89,90,91,108, 109,110,111,112,113,114,115, 116,117,118,119,120,121,122

103,123,124,125

126

127

Consistncia Oportunidade No duplicidade Validade

128 58 104 51,75,104 89,108,115,116,117,118, 128,130 99 77,125

SIH-SUS: Sistema de Informaes sobre Internaes Hospitalares do SUS; SIM: Sistema de Informaes sobre Mortalidade; SINASC: Sistema de Informaes sobre Nascidos Vivos; SINAN: Sistema de Informaes de Agravos de Noticao; SIA-SUS: Sistema de Informaes sobre Atendimentos Ambulatoriais; SIOPS: Sistema de Informaes sobre Oramentos Pblicos em Sade. Nota: os nmeros sobrescritos correspondem s referncias.

Tabela 2 Porcentagem de utilizao de mtodos nas avaliaes de cada dimenso de qualidade. Dimenso de qualidade analisada Acessibilidade (n = 2) Clareza metodolgica (n = 2) Cobertura (n = 27) Mtodo utilizado Painel de especialistas Painel de especialistas Relacionamento entre registros Anlise descritiva: indicadores de distintos bancos de dados Busca ativa de registros Srie temporal Completitude (n = 28) Anlise descritiva: indicadores do prprio banco de dados Busca ativa de registros Srie temporal Confiabilidade (n = 43) Concordncia entre avaliadores Relacionamento entre registros Anlise descritiva: indicadores de distintos bancos de dados Anlise descritiva: indicadores do prprio banco de dados Srie temporal Consistncia (n = 3) No duplicidade (n = 4) Oportunidade (n = 5) Validade (n = 14) Anlise descritiva: indicadores do prprio banco de dados Relacionamento entre registros Painel de especialistas Anlise descritiva: indicadores do prprio banco de dados Comparao com critrios Concordncia entre avaliadores % 100,0 100,0 48,0 30,0 15,0 7,0 77,0 15,0 8,0 70,0 11,0 9,0 7,0 2,0 100,0 100,0 100,0 57,0 36,0 7,0

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2102

Lima CRA et al.

ros negativos), valor preditivo positivo (probabilidade de que a classificao de positivo seja verdadeiro positivo) e valor preditivo negativo (probabilidade de que a classificao de negativo seja verdadeiro negativo) 12,13. A comparao com critrios foi utilizada prioritariamente para confirmar o diagnstico de infarto agudo do miocrdio segundo critrios de caso definido ou possvel adotados pelo Monica Project, da OMS 19.

Discusso
Foram identificadas quatro dimenses prioritrias: confiabilidade, validade, cobertura e completitude. A anlise dos resultados alcanados deve considerar que metade dos artigos selecionados teve como objeto de estudo o SIM, provavelmente superestimando as dimenses de qualidade prioritariamente analisadas para este sistema de informao. As principais dimenses de qualidade relacionadas nesse estudo so comuns s diversas metodologias de avaliao da qualidade de informao dos SIS 2,3,4,5,6,7,9 e aos estudos com o objetivo de avaliar a qualidade das informaes dos SIS, realizados na Esccia, Inglaterra, Canad, Holanda e Estados Unidos 14,15,16,17,18, corroborando os achados dessa reviso. Outros olhares sobre a qualidade da informao no foram includos neste estudo, como avaliaes do uso das informaes disseminadas, a importncia que o profissional de sade e o gestor do informao de sade, as condies de infra-estrutura necessrias ao processo de gerao da informao etc. Alguns artigos abordaram o desinteresse do profissional de sade em registrar corretamente os eventos, sem relatar a utilizao de mensuraes para subsidiar suas afirmaes. Essas anlises no foram, portanto, includas no estudo. Sua incluso acrescentaria, provavelmente, novas dimenses e novas tcnicas aos resultados encontrados. Algumas dimenses podem no ter sido evidenciadas nos estudos selecionados devido ao critrio de seleo dos artigos. Para o SINAN, por exemplo, a dimenso de qualidade noduplicidade importante de ser analisada, pois repetidas notificaes de um mesmo caso poderia induzir a superestimar a incidncia e/ou prevalncia de um determinado agravo. Entretanto apenas dois artigos inseridos neste estudo realizaram essa avaliao. Quase a metade dos estudos selecionados se limitou a estudar os dados de duas Unidades da Federao: Rio de Janeiro (33%) e So Paulo (14%). Cerca de 15% dos estudos analisaram da-

dos de vrias Unidades da Federao. Dentre os estados da Regio Nordeste, apenas Cear, Bahia e Pernambuco foram analisados por mais de um estudo. Apenas um estudo foi inserido para Regio Norte, relativo ao Estado do Par. Em um pas com a desigualdade existente em relao a recursos tecnolgicos, perfil de formao de profissionais de sade e de capacidade dos gestores para analisar as informaes, os resultados obtidos nos diversos estudos podem refletir uma situao distinta da real, sendo necessrio realizar avaliaes nas diferentes regies do pas. Como no tem sido uma prtica dos gestores publicar suas anlises em revistas cientficas, essa reviso no incluiu os diversos estudos que tm sido realizados no Ministrio da Sade e nas Secretarias Estaduais e Municipais de Sade para avaliar a qualidade dos bancos de dados dos sistemas sob sua gesto. Entretanto, os achados desta reviso no seriam distintos se fossem incorporadas as aes para aprimoramento das bases de dados dos sistemas de informao descritas nos anais das diversas Mostras Nacionais de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas (EXPOEPI) 20,
21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42, 43,44,45,46. A nica tcnica utilizada nas aes de aprimoramento dos bancos de dados relatadas nas Expoepi e no descrita nos estudos de avaliao a capacitao dos profissionais envolvidos com a produo da informao. Os estudos apresentados no VI Congresso Brasileiro de Sade Coletiva sobre avaliao da qualidade dos SIS 47,48,49,50 tambm no relatam dimenses de qualidade ou utilizao de tcnicas distintas dos resultados encontrados nesta reviso. A padronizao e divulgao das definies conceituais dos termos utilizados no processo de avaliao so aes necessrias para uma comparao mais fidedigna dos resultados dos estudos. Alguns autores apresentaram um entendimento diferenciado para os termos confiabilidade, validade e consistncia. As limitaes na aplicao dos mtodos e as sugestes dos autores dos artigos no foram objeto desse estudo, mas devem ser consideradas na implantao de uma avaliao sistemtica pelo Ministrio da Sade. Dentre as limitaes ressaltadas, destacam-se as perdas na coleta de documentos originais e dificuldade de obteno de dados identificados para o processo de pareamento entre bancos de dados. Como alternativa para a ampla disseminao de dados identificados, necessrios para o pareamento dos distintos bancos de dados, um artigo sugeriu a criao de uma central de relacionamentos, que teria como objetivo disponibilizar os bancos de dados j pareados 51.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2103

Para que as informaes geradas pelos artigos pudessem auxiliar os gestores dos sistemas, seria necessria a realizao de uma quantidade bem superior de estudos, que possibilitasse esclarecer as eventuais divergncias nos resultados obtidos. Algumas dimenses podem ter tido destaque devido ao pequeno nmero de estudos relativos ao sistema de informao, como o SIOPS e o SIA-SUS. A necessidade de definio de critrios claros fica evidenciada nas anlises da dimenso de qualidade acessibilidade, considerada boa por todos os estudos que abordaram o assunto. Entretanto nenhum deles explicitou medies para suas avaliaes. A pequena quantidade de estudos selecionados para alguns sistemas e a sua distribuio desigual entre as grandes regies brasileiras corrobora a necessidade de se implantar uma avaliao sistemtica para todos os sistemas de mbito nacional. Avaliaes que englobem as diferentes regies do pas, com periodicidade regular, observem as mesmas dimenses de qualidade a partir de metodologia, tcnicas e parmetros semelhantes, fornecendo subsdios para que se tenha uma informao fidedigna da qualidade dos bancos de dados nacionais. Outro eixo que deve ser observado o da disseminao regular dos resultados alcanados pelos estudos, indicando as limitaes do sistema e eventualmente desmistificando prjulgamentos existentes sobre alguns sistemas.

Tomando-se como exemplo o SIH-SUS, tem-se creditado baixa confiabilidade aos seus dados, principalmente varivel diagnstico 52. Entretanto os estudos apresentaram um quadro melhor do que o esperado 52,53, observando melhoria na qualidade dos dados ao longo do tempo 54 e obtendo concordncias superiores a 70% para agrupamentos de CID a trs dgitos 53. Os autores consideram que a utilizao do SIHSUS valiosa para as anlises epidemiolgicas, devendo ser estimulada 52,53,54,55. Sua utilizao, ainda modesta frente potencialidade do sistema, tem sido ampliada recentemente 56, e uma ampla divulgao dos resultados pode estimular um maior uso deste sistema. A divulgao dos estudos importante tambm para que os gestores dos sistemas tomem conhecimento dos resultados alcanados pelos sistemas, que podem sugerir onde devem ser priorizados os esforos para o aprimoramento da qualidade dos dados e para destacar as melhorias alcanadas com os esforos realizados. A importncia de informaes com boa qualidade indica a necessidade de que se institua no Brasil uma poltica de avaliao formal e regular, liderada pelo Ministrio da Sade. A elaborao de uma poltica deste porte dever considerar os diversos aspectos que influenciam a qualidade das informaes, para que possa apontar medidas para seu aprimoramento. Espera-se que esse estudo seja uma primeira aproximao para esse debate.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2104

Lima CRA et al.

Resumo
No Brasil, o monitoramento da qualidade dos dados dos Sistemas de Informao em Sade (SIS) no segue um plano sistemtico de avaliaes. Este artigo rev as iniciativas de avaliao da qualidade das informaes dos sistemas brasileiros, identificando as dimenses de qualidade abordadas e o mtodo utilizado. Foram consultadas as bases de dados SciELO, LILACS e as referncias bibliogrficas dos artigos identificados. Identificaram-se 375 estudos, resultando em 78 estudos aps as excluses. As quatro dimenses mais freqentes nos artigos totalizaram cerca de 90% das anlises realizadas. Os estudos identificados priorizaram as dimenses de qualidade confiabilidade, validade, cobertura e completitude. Metade dos estudos se limitou a estudar dados do Rio de Janeiro e de So Paulo. O pequeno nmero de estudos realizados sobre alguns sistemas e sua distribuio desigual entre as regies impossibilitam que se conhea de forma ampla a qualidade dos sistemas de informao em sade do pas. A importncia de informaes de qualidade indica a necessidade de que se institua no Brasil uma poltica de gerenciamento dos dados dos sistemas de informao em sade. Sistemas de Informao; Base de Dados; Avaliao

Colaboradores
C. R. A. Lima colaborou na coleta, organizao e anlise dos dados e elaborao do texto. J. M. A. Schramm, C. M. Coeli e M. E. M. Silva contriburam na anlise dos dados e na elaborao do texto.

Referncias
1. Rede Interagencial de Informaes para a Sade. Indicadores bsicos de sade no Brasil: conceitos e aplicaes. Braslia: Organizao Pan-Americana da Sade; 2002. English LP. Improving data warehouse and business information quality. New York: John Wiley & Sons; 1999. Kahn BK, Strong DM, Wang RY. Information quality benchmarks: product and service performance. Commun ACM 2002; 45:184-92. Wang R, Storey VC, Firth CP . A framework for analysis of data quality research. IEEE Transactions on Knowledge and Data Engineering 1995; 7:623-40. Wand Y, Wang RY. Anchoring data quality dimensions in ontological foundations. Commun ACM 1996; 39:86-95. World Health Organization. Health Metrics Network. Framework and standards for the development of country health information systems. 2nd Ed. Geneva: World Health Organization; 2008. 7. Campbell SE, Campbell MK, Grimshaw JM, Walker AE. A systematic review of discharge coding accuracy. J Public Health Med 2001; 23:205-11. 8. Paim I, Nehmy RMQ, Guimares C. Problematizao do conceito de qualidade da informao. Perspectivas em Cincias da Informao 1996; 1:113-22. 9. Pipino LL, Lee YW, Wang RY. Data quality assessment. Commun ACM 2002; 45:211-8. 10. Ferreira ABH. Minidicionrio da lngua portuguesa. Rio de Janeiro: Editora Nova Fronteira; 1993. 11. Echegoyen G. Registros administrativos, calidad de los datos y credibilidad pblica: presentacin y debate de los temas sustantivos de la segunda reunin de la Conferencia Estadstica de las Amricas de la CEPAL. Santiago: Comisin Econmica para Amrica Latina y el Caribe; 2003. 12. Last JM. A dictionary of epidemiology. New York: Oxford University Press; 1988.

2.

3.

4.

5.

6.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2105

13. Almeida Filho N, Rouquayrol, MZ. Introduo epidemiologia. Rio de Janeiro: Editora Guanabara Koogan; 2006. 14. Wittes J, Colton T, Sidel VW. Capture-recapture methods for assessing the completeness of case ascertainment when using multiple information sources. J Chronic Dis 1974; 27:25-36. 15. Arts DG, De Keizer NF, Scheffer GJ. Defining and improving data quality in medical registries: a literature review, case study and generic framework. J Am Med Inform Assoc 2002; 9:600-11. 16. Doyle TJ, Glynn KM, Grosecolse SL. Completeness of notificable infectious disease reporting in the United States: an analytical review. Am J Epidemiol 2002; 155:866-74. 17. Hogan WR, Wagner MM. Accuracy of data in computer-based patient records. J Am Med Inform Assoc 1997; 4:342-55. 18. Thiru K, Hassey A, Sullivan F. Systematic review of scope and quality patient record data in primary care. BMJ 2003; 326:1070. 19. National Public Health Institute. Monitoring of cardiovascular diseases and their risk factors at the community level (finnish part of a Joint WHO Study). The Monica Project. Geneva: World Health Organization; 1982. 20. Grassi PR. Orlandini FF, Schimidt AM, Sehn L. A qualidade da informao. In: Anais da 1a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2001. p. 31-4. 21. Oliveira VLA. Aprimoramento do SIM. In: Anais da 2a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2002. p. 91-2. 22. Simplcio ANB, Iozzi R, Theme Filha M, Caridade MC, Belizi AL. Qualificao das bases de dados sobre mortalidade por causas violentas: recuperao das informaes a partir do sistema de registro de ocorrncia da polcia civil na cidade do Rio de Janeiro, 2001. In: Anais da 2a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2002. p. 83-4. 23. Guimares MJB. Aprimoramento do SIM: estratgias utilizadas pelo municpio de Recife. In: Anais da 2a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2002. p. 93-5. 24. Grassi PR. Sistemas de informao e anlise da situao de sade. In: Anais da 2a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2002. p. 80-2. 25. Rosa JAR, Garbin T. Reduo das taxas de mortalidade por causas mal definidas em Bento Gonalves (RS). In: Anais da 3a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2003. p. 123-7.

26. Costa ICS, Silva EM. Anlise comparativa dos dados do SIM, SINASC e SIAB no perodo de junho a dezembro de 2002, no municpio de Juazeiro, BA: uma estratgia para o planejamento municipal. In: Anais da 3a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2003. p. 106-9. 27. Nicolai CCA, Silva FMCG, Azevedo MB, Caridade MC, Silva RI, Baran M. Busca ativa de casos de sndrome de rubola congnita (SRC) a partir da declarao de nascido vivo (DN) no municpio do Rio de Janeiro 2002. In: Anais da 3a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2003. p. 52-4. 28 Oliveira MLC, Souza LAC. Anlise do impacto da melhoria de qualidade das informaes nos bitos por causas externas no Distrito Federal. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 119-20. 29. Penteado SMO, Maia Junior JE, Lucena MMM. A estratgia utilizada pela SES do Cear para recuperao da declarao de bito. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bemsucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 114-6. 30. Lima RGS, Antonino VCS, Oliveira CM, Santos SM, Guimares MJB, Ratis C. Sistema de Informao sobre Mortalidade: contribuies da vigilncia do bito infantil no Distrito Sanitrio III do municpio do Recife. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 103-5. 31. Souza PTA, Tosetto VG. Mudana na estratgia de coleta de informaes com alterao do perfil epidemiolgico de mortalidade. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 100-2. 32. Cunha MGFC, Texeira AMS. Potencialidades do SINASC como instrumento de regulao para internaes hospitalares obsttricas no SUS. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 109-11. 33. Dantas J, Freitas ME, Marques M. SINAN: superando desafios sem ultrapassar limites. In: Anais da 4a EXPOEPI Mostra Nacional de Experincias Bemsucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2004. p. 106-8. 34. Motta DN, Souza LAC, Bernardes EF. Avaliao da cobertura do SINASC no DF em 2004. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 91.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2106

Lima CRA et al.

35. Marques M. Avaliao da subnotificao ao SINAN de casos de tuberculose confirmados pelo LACEN do municpio de Campo Grande (MS), 2003. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 90. 36. Oliveira C, Guimares MJB, Santos S, Lyra T, Melo N, Carvalho P , et al. Reduo da proporo de bitos por causa mal-definidas no SIM: estratgias desenvolvidas pela SMS de Recife. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bemsucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 89. 37. Ciraco DL, Oliveira MC. SINAN e interfaces: reviso de estratgias na prtica da equipe estadual. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 94. 38. SantAnna A, Aerts D, Jobim R, Vieira P , Lisboa E, Cardoso G. SIM: qualificao das causas externas por acidentes de trnsito a partir da integrao dos bancos de dados do SIM e da empresa pblica de transportes e circulao, Porto Alegre. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 85-6. 39. Oliveira C, Oliveira LCS, Guimares MJB, Lyra T. Integrao dos bancos do SIM e do SINAN: a contribuio da vigilncia dos bitos relacionados s doenas de notificao compulsria no municpio de Recife. In: Anais da 5a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2005. p. 95. 40. Jobim RD, Aerts DRGC, Brito MRV, Lisboa EP . Sistema de Informaes sobre Mortalidade (SIM): SINAN como fonte identificadora da co-infeco TB/HIV nos casos de bito em Porto Alegre. In: Anais da 6a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2006. p. 67. 41. Casco AM, Flores APM. Aprimoramento dos dados de mortalidade por causas externas tendo como a imprensa como fonte de dados. In: Anais da 6a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2006. p. 64. 42. Murakami GF, Meneses F, Barros ALC, Oliveira SE, Wanderley ZD, Couto MJ, et al. O potencial dos sistemas de informao em sade para aprimorar indicadores da PPI-VS: discutindo possibilidades na vigilncia epidemiolgica de doenas exantemticas em PE, 2005. In: Anais da 6a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2006. p. 62-3.

43. Roque CRP , Resende HMP , Andrade MC, Barra RP . Sistema de Informaes sobre Mortalidade: melhorando a qualidade das informaes. In: Anais da 6a EXPOEPI Mostra Nacional de Experincias Bemsucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2006. p. 68. 44. Vieira PC, Jobim RD, SantAnna AR, Aerts DRGC. SIM: SINASC como fonte identificadora da subnotificao dos bitos ocorridos durante a gravidez/ parto/aborto, puerprio precoce e tardio. In: Anais da 6a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2006. p. 61. 45. Coelho GMP, Jernimo AS, Silva Filho CC. Anlise temporal das doenas diarricas e implantao de unidades sentinelas no municpio de Petrolina (PE): conhecendo para intervir. In: Anais da 7a EXPOEPI Mostra Nacional de Experincias Bemsucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2007. p. 90. 46. Faustini EJ, Walcher EG, Fetzner WE, Lima CA, Melo NMG, Peres MLM, et al. P na estrada. In: Anais da 7a EXPOEPI Mostra Nacional de Experincias Bem-sucedidas em Epidemiologia, Preveno e Controle de Doenas. Braslia: Ministrio da Sade; 2007. p. 89. 47. Drumond Jnior M, Lira MMTA, Nitrini TMV, Shibao K, Taniguchi M, Bourroul MIM. O novo modelo da declarao de bito e a qualidade das informaes sobre causa externa [CD-ROM]. In: VI Congresso Brasileiro de Sade Coletiva. Salvador: ABRASCO; 2000. 48. Barros MD. Validao das causas bsicas de bito por causas externas em crianas e adolescentes [CD-ROM]. In: VI Congresso Brasileiro de Sade Coletiva. Salvador: ABRASCO; 2000. 49. Pessanha JEM. Mortalidade infantil em Diamantina (MG). A melhoria da qualidade dos dados utilizando bancos do SIM e do SINASC [CD-ROM]. In: VI Congresso Brasileiro de Sade Coletiva. Salvador: ABRASCO; 2000. 50. Deoliveira HM. Avaliao do SINASC em Cuiab, 1995-1998 [CD-ROM]. In: VI Congresso Brasileiro de Sade Coletiva. Salvador: ABRASCO; 2000. 51. Cruz MM, Toledo LM, Santos EM. O sistema de informao de AIDS do Municpio do Rio de Janeiro: suas limitaes e potencialidades enquanto instrumento da vigilncia epidemiolgica. Cad Sade Pblica 2003; 19:81-9. 52. Mathias TAF, Soboll MLMS. Confiabilidade de diagnsticos nos formulrios de autorizao de internao hospitalar. Rev Sade Pblica 1998; 32:526-32. 53. Veras CMT, Martins MS. A confiabilidade dos dados nos formulrios de Autorizao de Internao Hospitalar (AIH), Rio de Janeiro, Brasil. Cad Sade Pblica 1994; 10:339-55. 54. Gouva CSD, Travassos C, Fernandes C. Produo de servios e qualidade da assistncia hospitalar no Estado do Rio de Janeiro, Brasil 1992 a 1995. Rev Sade Pblica 1997; 31:601-17.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2107

55. Melione LPR. Morbidade hospitalar e mortalidade por acidentes de transporte em So Jos dos Campos, So Paulo. Rev Bras Epidemiol 2004; 7:461-72. 56. Bittencourt SA, Camacho LAB, Leal MC. O Sistema de Informao Hospitalar e sua aplicao na sade coletiva. Cad Sade Pblica 2006; 22:19-30. 57. Romero DE, Cunha CB. Avaliao da qualidade das variveis scio-econmicas e demogrficas dos bitos de crianas menores de um ano registrados no Sistema de Informaes sobre Mortalidade do Brasil (1996/2001). Cad Sade Pblica 2006; 22:673-81. 58. Romero DE, Cunha CB. Avaliao da qualidade das variveis epidemiolgicas e demogrficas do Sistema de Informaes sobre Nascidos Vivos, 2002. Cad Sade Pblica 2007; 23:701-14. 59. Haraki CAC, Gotlieb SLD, Laurenti R. Confiabilidade do Sistema de Informaes sobre Mortalidade em municpio do sul do Estado de So Paulo. Rev Bras Epidemiol 2005; 8:19-24. 60. Oliveira LR. Avaliando o Sistema de Informaes sobre Mortalidade em Mato Grosso [Dissertao de Mestrado]. So Paulo: Faculdade de Sade Pblica, Universidade de So Paulo; 2002. 61. Paes NA, Albuquerque MEE. Avaliao da qualidade dos dados populacionais e cobertura dos registros de bitos para as regies brasileiras. Rev Sade Pblica 1999; 33:33-43. 62. Almeida MTCGN, Beltro KI, Leite IC. Vigilncia da mortalidade materna: a identificao de mortes durante o ciclo gravdico puerperal ampliado. Cad Sade Coletiva (Rio J.) 2006; 14:265-82. 63. Correa PRL, Assuno AA. A subnotificao de mortes por acidente de trabalho: estudo de trs bancos. Epidemiol Serv Sade 2003; 12:203-12. 64. Paes NA. Avaliao da cobertura dos registros de bitos dos estados brasileiros em 2000. Rev Sade Pblica 2005; 39:882-90. 65. Frias PG, Vidal SA, Pereira PMH, Lira PIC, Vanderlei LC. Avaliao da notificao de bitos infantis ao Sistema de Informaes sobre Mortalidade: um estudo de caso. Rev Bras Sade Matern Infant 2005; 5 Suppl 1:S43-52. 66. Barros FC, Victora CG, Teixeira AMB, Puerto Filho M. Mortalidade perinatal e infantil em Pelotas, Rio Grande do Sul: nossas estatsticas so confiveis? Cad Sade Pblica 1985; 1:348-58. 67. Mello Jorge MHP, Gotlieb SLD, Soboll MLMS, Almeida MF, Latorre MRDO. Avaliao do sistema de informao sobre nascidos vivos e o uso de seus dados em epidemiologia e estatsticas de sade. Rev Sade Pblica 1993; 27 Suppl:1-46. 68. Almeida MF, Alencar GP. Informaes em Sade: necessidade de introduo de mecanismos de gerenciamento dos sistemas. Inf Epidemiol SUS 2000; 9:241-9. 69. Mello Jorge MHP , Gotlieb SLD, Andrade SM. Anlise dos registros de nascimentos vivos em localidade urbana no Sul do Brasil. Rev Sade Pblica 1997; 31:78-89. 70. Souza RKTE, Gotlieb SLD. Sub-registro de nascimentos vivos hospitalares em rea urbana da regio Sul do Brasil, em 1989. Rev Sade Pblica 1993; 27:177-84.

71. Drumond EF, Frana EB, Machado CJ. SIH-SUS e SINASC: utilizao do mtodo probabilstico para relacionamento de dados. Cad Sade Coletiva (Rio J.) 2006; 14:251-64. 72. Frias PG, Pereira PMH, Vidal SA, Lira PIC. Avaliao da cobertura do Sistema de Informaes sobre Nascidos Vivos e a contribuio das fontes potenciais de notificao do nascimento em dois municpios de Pernambuco, Brasil. Epidemiol Serv Sade 2007; 16:93-101. 73. Pinheiro AMCM. Avaliao dos Sistemas de Informao sobre Nascidos Vivos e de Mortalidade para a obteno da mortalidade neonatal em Ilhus, Bahia [Tese de Doutorado]. So Paulo: Faculdade de Sade Pblica, Universidade de So Paulo; 2003. 74. Bezerra CTS, Camara JEVS, Bezerra GMS, Guerreiro JV. Sistemas de informao em sade gerenciados pela vigilncia epidemiolgica. Divulg Sade Debate 2000; (20):55-60. 75. Ferreira VMB, Portela MC. Avaliao da subnotificao de casos de AIDS no Municpio do Rio de Janeiro com base em dados do sistema de informaes hospitalares do Sistema nico de Sade. Cad Sade Pblica 1999; 15:317-24. 76. Faanha MC. Tuberculose: subnotificao de casos que evoluram para o bito em Fortaleza-CE. Rev Bras Epidemiol 2005; 8:25-30. 77. Duarte HHP , Frana EB. Qualidade dos dados da vigilncia epidemiolgica da dengue em Belo Horizonte, MG. Rev Sade Pblica 2006; 40:134-42. 78. Lemos KRV, Valente JG. A declarao de bito como indicador de sub-registro de casos de AIDS. Cad Sade Pblica 2001; 17:617-26. 79. Saraceni V, Leal MC. Avaliao da efetividade das campanhas para eliminao da sfilis congnita na reduo da morbi-mortalidade perinatal: Municpio do Rio de Janeiro, 1999-2000. Cad Sade Pblica 2003; 19:1341-9. 80. Faanha MC, Pinheiro AC, Lima JRC, Ferreira MLLT, Teixeira GFD, Rouquayrol MZ. Hansenase: subnotificao de casos em Fortaleza, Cear, Brasil. An Bras Dermatol 2006; 81:329-33. 81. Brum L, Kupek E. Record linkage and capture-recapture estimates for underreporting of human leptospirosis in a Brazilian health district. Braz J Infect Dis 2005; 9:515-20. 82. Mendes ACG, Silva Jnior JB, Medeiros KR, Lyra TM, Melo Filho DA, S DA. Avaliao do Sistema de Informaes Hospitalares SIH/SUS como fonte complementar na vigilncia e monitoramento de doenas de notificao compulsria. Inf Epidemiol SUS 2000; 9:67-86. 83. Cavalcante MS, Ramos Jr. NA, Pontes LRSK. Relacionamento de sistemas de informao em sade: uma estratgia para otimizar a vigilncia das gestantes infectadas pelo HIV. Epidemiol Serv Sade 2005; 14:127-33. 84. Gomes Jr. SCS, Almeida RT. Comparao do registro da produo ambulatorial em oncologia no Sistema nico de Sade. Cad Sade Pblica 2006; 22:141-50. 85. Costa LS, Pinheiro RS, Almeida RVR. Recuperao de informao de endereo na base de dados AIH: percentual de aproveitamento. Cad Sade Coletiva (Rio J.) 2003; 11:131-41.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

2108

Lima CRA et al.

86. Jorge MHPM, Gotlieb SLD, Laurenti R. O sistema de informaes sobre mortalidade: problemas e propostas para o seu enfrentamento I Mortes por causas naturais. Rev Bras Epidemiol 2002; 5:197-211. 87. Jorge MHPM, Gotlieb SLD, Laurenti R.O sistema de informaes sobre mortalidade: problemas e propostas para o seu enfrentamento II Mortes por causas externas. Rev Bras Epidemiol 2002; 5:212-23. 88. Santa Helena ET, Rosa MB. Avaliao da qualidade das informaes relativas aos bitos em menores de um ano em Blumenau, 1998. Rev Bras Sade Matern Infant 2003; 3:75-83. 89. Monteiro GTR, Koifman RJ, Koifman S. Confiabilidade e validade dos atestados de bito por neoplasias. I. Confiabilidade da codificao para o conjunto das neoplasias no Estado do Rio de Janeiro. Cad Sade Pblica 1997; 13 Suppl 1:39-52. 90. Cardoso AM, Santos RV, Coimbra Jr. CEA. Mortalidade infantil segundo raa/cor no Brasil: o que dizem os sistemas nacionais de informao? Cad Sade Pblica 2005; 21:1602-8. 91. Gomes JO, Santo AH. Mortalidade infantil em municpio da regio Centro-Oeste Paulista, Brasil, 1990 a 1992. Rev Sade Pblica 1997; 31:330-41. 92. Almeida MF, Alencar GP, Novaes HMD, Ortiz LP. Sistemas de informao e mortalidade perinatal: conceitos e condies de uso em estudos epidemiolgicos. Rev Bras Epidemiol 2006; 9:56-68. 93. Barros MDA, Ximenes R, Lima MLC. Preenchimento de variveis nas declaraes de bitos por causas externas de crianas e adolescentes no Recife, de 1979 a 1995. Cad Sade Pblica 2001; 17:71-8. 94. Heckmann IC, Canani LH, SantAnna UL, Bordin R. Anlise do preenchimento de declaraes de bitos em localidade do Estado do Rio Grande do Sul, 1987. Rev Sade Pblica 1989; 23:292-7. 95. Pereira MG, Castro ES. Avaliao do preenchimento de declaraes de bitos: Braslia, DF (Brasil), 1977-1978. Rev Sade Pblica 1981; 15:14-9. 96. Laurenti R, Mello Jorge MHP , Gotlieb SLD. Mortes maternas no Brasil: anlise do preenchimento de varivel da declarao de bito. Inf Epidemiol SUS 2000; 9:43-50. 97. Casco AM, Kale PL, Bellize ALM, Almeida LM, Vermelho LL. Sistema de informaes sobre mortalidade: a importncia do correto preenchimento das declaraes de bito para o planejamento e a pesquisa em sade. Cad Sade Coletiva (Rio J.) 1997; 5:123-30. 98. Theme Filha MM, Gama SGN, Cunha CB, Leal MC. Confiabilidade do Sistema de Informaes sobre Nascidos Vivos Hospitalares no Municpio do Rio de Janeiro, 1999-2001. Cad Sade Pblica 2004; 20 Suppl 1:83-91. 99. Almeida MF, Alencar GP , Frana Jr. I, Novaes HMD, Siqueira AAF, Schoeps D, et al. Validade das informaes das declaraes de nascidos vivos com base em estudo de caso-controle. Cad Sade Pblica 2006; 22:643-65. 100. Mishima FC, Scochi CGS, Ferro MAR, Lima RAG, Costa IAR. Declarao de nascido vivo: anlise do seu preenchimento no Municpio de Ribeiro Preto, So Paulo, Brasil. Cad Sade Pblica 1999; 15:387-95.

101. Silva AAM, Ribeiro VS, Borba Jnior AF, Coimbra LC, Silva RA. Avaliao da qualidade dos dados do Sistema de Informaes sobre Nascidos Vivos em 1997-1998. Rev Sade Pblica 2001; 35:508-14. 102. Noronha CP , Silva RI, Theme Filha MM. Concordncia das declaraes de bitos e de nascidos vivos para a mortalidade neonatal no municpio do Rio de Janeiro. Inf Epidemiol SUS 1997; 4:57-65. 103. Barros ENC, Silva EM. Vigilncia epidemiolgica do sarampo e da rubola no municpio de Campinas (SP), Brasil: confiabilidade dos dados. Rev Panam Salud Pblica 2006; 19:172-8. 104. Glatt R. Anlise da qualidade da base de dados de AIDS do Sistema de Informao de Agravos de Notificao (SINAN) [Dissertao de Mestrado]. Rio de Janeiro: Escola Nacional de Sade Pblica, Fundao Oswaldo Cruz; 2005. 105. Escosteguy CC, Portela MC, Medronho RA, Vasconcellos MTL. AIH versus pronturio mdico no estudo do risco de bito hospitalar no infarto agudo do miocrdio no Municpio do Rio de Janeiro, Brasil. Cad Sade Pblica 2005; 21:1065-76. 106. Melo ECP, Travassos C, Carvalho MS. Qualidade dos dados sobre bitos por infarto agudo do miocrdio, Rio de Janeiro. Rev Sade Pblica 2004; 38:385-91. 107. Ferreira VMB, Portela MC, Vasconcellos MTL. Fatores associados subnotificao de pacientes com AIDS, no Rio de Janeiro, RJ, 1996. Rev Sade Pblica 2000; 34:170-7. 108. Monteiro GTR, Koifman RJ, Koifman S. Confiabilidade e validade dos atestados de bito por neoplasias. II. Validao do cncer de estmago como causa bsica dos atestados de bito no Municpio do Rio de Janeiro. Cad Sade Pblica 1997; 13 Suppl 1:53-65. 109. Simes EMS, Reichenheim ME. Confiabilidade das informaes de causa bsica nas declaraes de bito por causas externas em menores de 18 anos no Municpio de Duque de Caxias, Rio de Janeiro, Brasil. Cad Sade Pblica 2001; 17:521-31. 110. Niobey FML, Casco AM, Duchiade MP , Sabrosa PC. Qualidade do preenchimento de atestados de bitos de menores de um ano na Regio Metropolitana do Rio de Janeiro. Rev Sade Pblica 1990; 24:311-8. 111. Castro MSM, Assuno RM, Durante MO. Comparao de dados sobre homicdios entre dois sistemas de informao, Minas Gerais. Rev Sade Pblica 2003; 37:168-76. 112. Mendona EF, Goulart EMA, Machado JAD. Confiabilidade da declarao de causa bsica de mortes infantis em regio metropolitana do Sudeste do Brasil. Rev Sade Pblica 1994; 28:385-91. 113. Carvalho ML, Niobey FML, Miranda NN, Sabrosa PC. Concordncia na determinao da causa bsica de bito em menores de um ano na Regio Metropolitana do Rio de Janeiro, 1986. Rev Sade Pblica 1990; 24:20-7. 114. Drumond Jr. ML, Margarida MTA, Freitas M, Nitrini TMV, Shibao K. Avaliao da qualidade das informaes de mortalidade por acidentes no especificados e eventos com inteno indeterminada. Rev Sade Pblica 1999; 33:273-80.

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009

AVALIAO DOS SISTEMAS DE INFORMAO EM SADE

2109

115. Nunes J, Koifman RJ, Mattos IE, Monteiro GTR. Confiabilidade e validade das declaraes de bitos por cncer de tero no municpio de Belm, Par, Brasil. Cad Sade Pblica 2004; 20:1262-8. 116. Queiroz RCS, Mattos IE, Monteiro GTR, Koifman S. Confiabilidade e validade das declaraes de bito por cncer de boca no Municpio do Rio de Janeiro. Cad Sade Pblica 2003; 19:1645-53. 117. Nobre LC, Victora CG, Barros FC, Lombardi C, Teixeira AM, Fuchs SC. Avaliao da qualidade da informao sobre a causa bsica de bitos infantis no Rio Grande do Sul (Brasil). Rev Sade Pblica 1989; 23:207-13. 118. Siqueira AAF, Rio EMB, Tanaka ACdA, Schor N, Alvarenga AT, Almeida LC. Mortalidade feminina na regio sul do Municpio de So Paulo: qualidade da certificao mdica dos bitos. Rev Sade Pblica 1999; 33:499-504. 119. Theme Filha MM, Silva RI, Noronha CP. Mortalidade materna no Municpio do Rio de Janeiro, 1993 a 1996. Cad Sade Pblica 1999; 15:397-403. 120. Cordeiro R, Olivencia Pealoza ER, Cardoso CF, Cortez DB, Kakinami E, Souza JJG, et al. Validade das informaes ocupao e causa bsica em declaraes de bito de Botucatu, So Paulo. Cad Sade Pblica 1999; 15:719-28. 121. Mello Jorge MHP. Situao atual das estatsticas oficiais relativas mortalidade por causas externas. Rev Sade Pblica 1990; 24:217-23. 122. Reis ACGV. Mortalidade por causas mal definidas na Regio Metropolitana do Rio de Janeiro, de 1980 a 1995 [Dissertao de Mestrado]. Rio de Janeiro: Escola Nacional de Sade Pblica, Fundao Oswaldo Cruz; 1999. 123. Toledo ALA, Escosteguy CC, Medronho RA, Andrade FC. Confiabilidade do diagnstico final de dengue na epidemia 2001-2002 no Municpio do Rio de Janeiro, Brasil. Cad Sade Pblica 2006; 22:933-40.

124. Saraceni V, Vellozo V, Leal MC, Hartz ZMA. Estudo de confiabilidade do SINAN a partir das campanhas para a eliminao da sfilis congnita no Municpio do Rio de Janeiro. Rev Bras Epidemiol 2005; 8:419-24. 125. Crtes MCJW. Vigilncia das meningites na regio metropolitana de Belo Horizonte, MG, 1999: o uso dos sistemas de informao em sade e o mtodo da captura-recaptura na estimao da incidncia e da subnotificao [Tese de Doutorado]. Belo Horizonte: Faculdade de Medicina, Universidade Federal de Minas Gerais; 2002. 126. Brito CP , Margareth C, Vasconcellos MTL. Avaliao da concordncia de dados clnicos e demogrficos entre Autorizaes de Procedimento de Alta Complexidade Oncolgica e pronturios de mulheres atendidas pelo Sistema nico de Sade no Estado do Rio de Janeiro, Brasil. Cad Sade Pblica 2005; 21:1829-35. 127. Lima CRA, Carvalho MS, Schramm JMA. Financiamento pblico em sade e confiabilidade dos bancos de dados nacionais. Um estudo dos anos de 2001 e 2002. Cad Sade Pblica 2006; 22: 1855-64. 128. Szwarcwald CL, Leal MC, Andrade CLT, Souza Jr. PRB. Estimao da mortalidade infantil no Brasil: o que dizem as informaes sobre bitos e nascimentos do Ministrio da Sade? Cad Sade Pblica 2002; 18:1725-36. 129. Portela MC, Schramm JMA, Pepe VLE, Noronha MF, Pinto CAM, Cianeli MP. Algoritmo para a composio de dados por internao a partir do Sistema de Informaes Hospitalares do Sistema nico de Sade (SIH/SUS) Composio de dados por internao a partir do SIH/SUS. Cad Sade Pblica 1997; 13:771-4. 130. Schnitman A. Anlise da fidedignidade da declarao da causa bsica de morte por cncer em Salvador, Brasil. Rev Sade Pblica 1990; 24: 490-6. Recebido em 27/Jun/2008 Verso final reapresentada em 20/Fev/2009 Aprovado em 18/Mai/2009

Cad. Sade Pblica, Rio de Janeiro, 25(10):2095-2109, out, 2009