A curva ROC para TESTES DIAGNOSTICS Analysis of diagnostic tests using ROC curves Edson Zangiacomi Martinez’, Francisco Louzada-Neto?, Basilio de Braganga Pereira® Mo Métodos estatisticas aplicados @ medicina diagnéstica sofreram, nas tiimas décadas, cnormes avangos. Grande parte destes métodos esta voltada ao problema de classificar individuos em grupos, sendo que os testes diagnésticos compéem o principal exemplo. Estes testes so descritos como métodos tcoricamente capazes de indicar a presenga ow a anséncia de uma determinada doenga, com uma certa chance de erro. A quantificag4o destas chances de erro 6, basicamente, o objetivo destes métodos cstatisticos. A probabilidade de um teste diagnéstico produzir um resultado positivo, dado que 0 individuo portador da docnga, é chamada sensibilidade do teste; ¢ a probabilidade do teste produzir um resultado negativo, dado que o individuo nao porta a docnga, 6 chamada especificidade. O presente estudo objetiva descrever a situagdo onde o teste produz uma resposta que ndo € descrita simplesmente como. “positivo” ou “negativo”, mas por um resultado que pode ser expresso por uma varidvel categérica ordinal ow por wma variével continua. O desempenho de um teste assim descrito cm auxiliar diagnosticos clinicos ¢ usualmente demonstrado pela curva ROC (receiver operating characteristic). S30 descritos neste estudo métodos comumente utilizados para estimar a curva ROG, o efeito da tendenciosidade devida a verificagao, a utilidade da Arca sob a curva ROG, o problema da comparagao entre duas curvas © 0s métodos de geragio de regiées de confianga para a curva ROG. Dois exemplos reais cm oncologia ilustram 0 uso da curva ROC. PALAVRAS-CHAVE Curva ROG, sensibilidade, especificidade, cstatistica Apsreac Statistical methods applied for diagnosis medicine has progressed immensely in the last decades. These methods are generally directed for the problem of classified individuals in relevant clusters, and diagnostic tests arc the principal example. These tests are methods theoretically able to indicate the presence or the absence of an established discasc, with a chance of error. The quantification of this chance of error ' Professor Assistente do Departamento de Medicina Social da Faculdade de Medicina de Ribeirdo Preto, Universidade de Sio Paulo. Av. Bandeirantes, 3.900 - Ribeiréo Preto - SP. CEP: 14049-900. Professor Adjunto do Departamnto de Estatistica, Universidade Federal de S4o Carlos, CP 676, 13565- 908, Sao Carlos, SP, Brasil * Professor Titular da Faculdade de Medicina, do NESC e COPPE, Universidade Federal do Rio de Janeiro, CP 68037, 21944-970, Rio de Janeiro, AJ, Brasil Capennos Sadoe Coveriva, Rio ve Janeino, 11 (1): 7- 31, 2003 - 7Eosow Zaciacomi ManTinez, Francisco Louzapa-Nevo, Basitio Dé BRAGANGA PEREIRA is the fundamental aim of these statéétical methods. The probability of a test to produce a positive outcome, given that the individual is diseased, is called the sensitivity of the test. The probability of a test to produce a negative outcome, given that the individual isn’t diseased, is called the specificity of the test. This review aim to describe the situation where a diagnostic test produce an outcome not described as “positive” or “negative”, however, by a ordinal or continuos variable. The clinical performance ofa test thus described is demonstrated by the ROC {receiver operating characteristic) curve. Are described in this review methods used for estimate the ROG curve, the effect of the work-up bias, the utility of the area under the ROG curve, the comparison between curves, and confidence bounds for ROC curve. Two example based in real data are used for cxemplified the application of the ROG curve. Key worps ROC curv, sensitivity, specificity, statistics 1, InrRODUGAO Uma pritica comum na pesquisa médica é a busca de maneiras de descrever 0 como e 0 quanto uma variavel continua ou categérica ordinal € capaz de classificar materiais ou individuos em grupos definidos. Um exemplo tipico é encontrado nos estudos laboratoriais, onde deseja-se verificar 0 desempenho de um teste diagnéstico em classificar sujeitos como portadores ou n&o de determinada doenga. O objeto deste estudo de revisio € a curva ROC, uma ferramenta destinada a descrever quantitativamente o desempenho de um teste diagndstico cujo resultado pode ser tratado como uma variavel continua ou categérica ordinal. A curva ROC foi desenvolvida no contexto de detecgao de sinais eletrénicos e problemas com radares, durante a Segunda Guerra Mundi- al (Zweig & Campbell, 1993), Seu objetivo era quantificar a habilidade dos operadores dos radares (chamados originalmente de receiver operators) em distinguir um sinal de um ruido (Reiser & Faraggi, 1997). Esta habi- lidade era chamada receiver operating characteristic (ROC). Quando o radar detectava algo se aproximando, cabia ao operador decidir se o que foi captado era, por exemplo, um avido inimigo (0 sinal), ou algum outro objeto voador irrelevante, como uma nuvem ou um bando de aves (0 ruido) (Collinson,1998). Na década de 60, curvas ROC foram utilizadas em psicologia experimental ¢, nos anos 70, a metodologia amplamente se disseminou em varios ramos da pesquisa biomédica, 4rea em que seu objetivo tornou-se basicamente auxiliar a classificagao de individuos em doentes ou nao doentes. 8 - Cavennos Savoe Coreriva, Rio oe Jawemno, 11 (1): 7 - 31, 2003‘Acuna ROC rea resres onavosncas Apresentamos a seguir uma breve revisio dos conceitos basicos sobre testes diagnésticos, curva ROC, sua estimagiio € tendenciosidades, a utili- dade da area sob a curva, os métodos de comparagao de curvas sob diferentes circunstancias, ¢ 0s métodos empregados para gerar regides de confianga. Dois exemplos em oncologia sao discutidos. Uma seqtiéncia de comandos, escritos na linguagem SAS® versio 8, que estima a curva ROG, a estatistica U de Mann-Whitney e a area sob a curva pelo método dos trapézios pode ser obtida dos autores. 2. CONCEYTOS BASIGOS A sensibilidade (S,) € definida como a probabilidade do teste sob investigagao fornecer um resultado positive, dado que o individuo é realmente portador da enfermidade, e a especificidade (E) é definida como a probabilidade do teste fornecer um resultado negativo, dado que 0 individuo esta livre da enfermidade. Expresses matematicas para S,, ¢ E, so apresentadas na Tabela 1, Nota-se que a S, ¢ a £, nao sio calculadas sobre os mesmos individuos, ou seja, no cAlculo da S,, utiliza-se apenas os doentes, e no calculo da E,, utiliza-se somente os nao doentes. Sendo assim, estas medidas sao entre si independentes. E, ainda, a propor¢io de doentes observada no estudo do desempenho do teste diagnéstico nao interfere no calculo destas medidas, o que permite afirmar que S, ¢ E, nao sofrem o efeito da prevaléncia da doenga. Tabela | Representago geral de um teste diagnéstico perante o padrio ouro. resultado do adrao ouro teste sob investigagto |” _positivas (doentes) negativos (no doentes) positivo verdadeiros positives (VP) falsos positivos (FP) negativo falsos negativos (FV) verdadeiros negativos (VN) total total de positives (VP+FN) total de negativos (FP+VN) desempenho sensibilidade = S,=- wm especificidade = E, en © verdadeiro estado de cada indi determinado por um teste de referéncia conhecido como padrao-ouro. iduo, doente ou nao doente, é Tal procedimento pode ser baseado em, por exemplo, uma cirurgia, uma autépsia, ou em uma avaliagio clinica detalhada (Altman, 1991: 409). Gavenwos Sadoe Coueriva, Rto ve Janeino, 11 (1): 7 - 31, 2003-9