Hjem » Epidemiologi og statistik » Reciever-operating characteristics (ROC)-kurver
Reciever-operating characteristics (ROC)-kurver
Reciever-operating characteristics (ROC) blev opfundet i 1950’erne som en hjælp til at bestemme hjælpe radaroperatører med at skelne radarsignaler. Hvem der har ledt ROC-analyser ind i medicinen står hen i det uvisse. Var det en radarstatistiker, der blev biostatistiker, eller en radaroperatør, der blev læge?
Uanset hvad løser ROC-kurver et ofte forekommende problem. Nedenfor skal det handle om:
- Fordele ved ROC-kurver
- Hvad er ROC-kurver?
- Hvordan laver man ROC-kurver?
- Hvad er area under the curve (AUC)?
Fordele ved ROC-kurver
Mange kliniske tests er kategoriske, de kan enten give et positivt eller negativt resultat. Det gælder for eksempel for mange mikrobiologiske test (enten er der vækst i venylerne, eller også er der ikke), og det gælder også for mange test i radiologien (fraktur eller ikke fraktur; ileus eller ikke-ileus). Det betyder, at man ganske nemt kan udregne sensitivitet og specificitet af undersøgelserne og dermed vurdere undersøgelsernes kliniske anvendelighed.
Jeg har skrevet meget mere om sensitivitet og specificitet her.
For en del test, for eksempel mange biokemiske test, er resultatet ikke kategorisk, men kontinuerligt. Og hvor på en kontinuerligt kurve skal man så ligge den grænseværdi der gør, at man mener, at testresultatet peger på sygdom? Det er ikke åbenlyst, og for at afklare det spørgsmål, kan man bruge reciever operating characteristics (ROC)-kurver.
Hvad er en ROC-kurve?
En ROC-kurve tegnes i et X,Y-koordinatsystem, hvor man ud af X-aksen har (1-specificitet) og op ad Y-aksen har sensitivitet. Det vil sige, at et punkt på koordinatsystemet er sammenhængende værdier af sandt positive og falsk positive.
Diagonalt i koordinatsystemet (en linje, hvor f(x)=x) løber en linje, hvor andelen af sandt positive og falsk positive er den samme. Over den diagonale kurve løber en linje igennem punkter, der er lavet for forskellige cut-off-værdier for sensitivitet og specificitet. Det ser sådan her ud:
Alle punkter på den diagonale linje (den sorte linje) repræsenterer en fuldstændigt ubrugelig test. Resultatet af testen er det samme som at slå plat eller krone: En patient kan ligeså godt være sandt positiv som falsk positiv.
En ROC-kurve, der nærmer sig den diagonale linje tegnes altså af en helt ubrugelig test (den blå kurve). Omvendt vil en ROC-kurve, der smyger sig op ad Y-aksen og derefter parallelt med X-aksen (den grønne linje) være en perfekt test: I toppunktet af kurven vil man have maksimal sensitivitet, det vil sige en maksimal andel af sandt positive og minimal (1-specificitet), det vil sige en minimal andel af falsk positive. Mest sandsynligt ser de fleste ROC-kurver ud som den røde: Uperfekte kurver, hvor man forsøger at finde det optimale skæringspunkt mellem sensitivitet og specificitet – her illustreret ved det røde kryds.
Eksempel på beregning af en ROC-kurve
Figuren her nedenunder viser på venstre side testresultater for to grupper af patienter. Testen giver kontinuerlige resultater.
Testresultaterne er delt op efter, om man er syg eller rask. Man kan se, at de syge patienter har en tilbøjelighed til at score højt på testen, men de raske patienter scorer lavere. Den stiplede linje viser et arbitrært valgt cut-off. Et flertal af de syge patienter har værdier over cut-off (grønne prikker) og kan derfor kategoriseres som sandt positive, men et mindretal har værdier under cut-off (røde prikker) og er derfor falsk negative.
Blandt de raske patienter er der et flertal, der scorer under cut-off (grønne prikker), og de er derfor sandt negative, mens et mindretal er falsk positive og scorer over cut-off (røde prikker).
Figuren til venstre illustrerer blot, at man lige så godt kunne have tegnet fordelingskurver over testresultaterne.
I det her tilfælde har jeg altså valgt en tærskelværdi, eller cut-off-værdier, som kan bruges til at beregne sensitivitet og specificitet. Idéen er nu, at jeg gentager øvelsen med cut off-værdier i hele spektret af testresultater. Det kan jeg plotte i mit ROC-koordinatsystem og tegne en kurve imellem, og den kurve er ROC-kurven. Det kan man illustrere sådan her:
Hver sort prik i koordinatsystemet ovenfor repræsenterer sensitiviteten og (1 – specificiteten), der tilhører én bestemt cut off-værdi fra figuren ovenfor. Igennem prikkerne er ROC-kurven tegnet som en stiplet rød linje.
Hvad er area under the curve (AUC)?
Når man har lavet sin ROC-kurve for ens test kan man være interesseret i at se, hvordan testen klarer sig imod andre test af det samme. Area under the curve (AUC) er en hjælp til at vurdere, hvad man kunne kalde den globale performance af ens test. Det er en beregningen af arealet under ROC-kurven og det er så, ikke helt overraskende, the area under the curve, der bare forkortes AUC. I figuren nedenfor er det altså det areal, jeg har skraveret med rødt og sort, vi taler om.
Hvordan fortolkes AUC-værdier?
En test med en ROC-kurve, der ligger fuldstændig på samme linje som den sorte diagonal er ikke bedre end at slå plat eller krone. Arealet under sådan en test er 0,5; og det kan man tolke som sandsynligheden for, at når:
- man bliver præsenteret for to patienter, den ene syg og den anden rask;
- og man bliver præsenteret for et testresultat
- så gætter rigtigt på, hvilken patient, der er faktisk er syg.
.
Sandsynligheden for, at man gætter rigtigt, når ens test har et AUC på 0,5, er ikke bedre end at slå plat eller krone: Sandsynligheden er 50 %.
Des bedre en ROC-kurve, des større er det røde skraverede areal, og hvis man havde en perfekt ROC-kurve, der gik langs y-aksen og parallelt med x-aksen (den grønne kurve fra figuren ovenfor), så ville man på baggrund af et testresultat altid gætte rigtigt, når man skulle gætte på, hvilken af to patienter, den ene syg og den anden rask, der faktisk var syg. Arealet under kurven er 1 og sandsynligheden for, at man gætter rigtigt, er 100 %.
De fleste test ligger et sted midt imellem, og resultatet af AUC for en test kan altså fortolkes som sandsynligheden for, at man på baggrund af testresultatet korrekt kan identificere den syge patient hos et par, hvoraf den ene er syg og den anden rask.
Kilder
Altman DG, Bland JM. Diagnostic tests 3: receiver operating characteristic plots. BMJ. 1994 Jul 16;309(6948):188. doi: 10.1136/bmj.309.6948.188. PMID: 8044101; PMCID: PMC2540706.
Zou KH, O’Malley AJ, Mauri L. Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation. 2007 Feb 6;115(5):654-7. doi: 10.1161/CIRCULATIONAHA.105.594929. PMID: 17283280.
Hanley JA, McNeil BJ. The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology. 1982 Apr;143(1):29-36. doi: 10.1148/radiology.143.1.7063747. PMID: 7063747.