Formentlig fordi performance status er baseret på anamnese og derfor dels er afhængig af patientens fortælling, dels af observatørens måde at udspørge patienten på, er der flere potentielle problemer med scoring. Der er samtidig ikke nogen gylden standard at holde ens scoring op imod. Det sidste giver et problem med at vurdere validiteten af performance status, det første det problem, at to forskellige observatører kan score den helt samme patient forskelligt – der er interratervarians. Spørgsmålet om reliabilitet er undersøgt flere gange, og så mange gange, at systematiske reviews er relevante.

Der er publiceret to relativt nye systematiske reviews af studier. Begge er med Chow som førsteforfatter, og begge sammen to eller flere sundhedsprofessionelles performance status-vurdering af onkologiske patienter. De indgående scoringssystemer er ikke begrænset til ECOG PS, men også fx Karnofsky. Det seneste studie, Chow et al. (2020) er en opdateret udgave og dertil en metanalyse skrevet på baggrund af et tidligere studie fra 2016. Der er selvfølgelig tilføjet helt nye studier i det nyeste review, men der er ikke fuldstændigt overlap imellem de ældre studier. Jeg kan ikke gennemskue hvorfor det er endt sådan, men har heller ikke læst studierne i bund.

2016-reviewet konkluderer, at det er svært at udtale sig om interrater-reliabiliteten, fordi der er studier, der viser gode korrelationer mellem observatører og studier, der desværre viser dårlige korrelationer imellem observatører. 2020-reviewet konkluderer omvendt, at der er en udmærket interrater-reliabilitet. Jeg kan ikke gennemskue, om det skyldes, at 2020-reviewet udelader studier, som 2016-reviewet medtager. Et af argumenterne i 2020-reviewet for, at der er god interrater-reliabilitet er en Pearson korrelationsanalyse af 5 ud af 9 indgående studier, der scorer patienter efter ECOG PS. Det fremgår imidlertid ikke, hvorfor fire af studierne er udeladt (herunder nedenstående Sørensen et al., der ikke viser overbevisende overensstemmelse), og det fremgår af 2020-reviewets konklusion, at forfatterne i øvrigt ikke mener, at Pearson-koefficienter er gode at bruge til det formål at vurdere styrken af interrater-reliabiliteten.

Så jeg ved ikke rigtig. What to trust?

Jeg har kigget på to studier, der indgår i begge ovenstående reviews, og der viser hhv. middel og god interrater-reliabilitet.

Sørensen et al. (1993) bad 3 onkologer om at ECOG PS-score 100 konsekutive patienter og fandt en generel Cohen’s kappa (hvor 0 er fuldstændig mangel på korrelation, mens 1 er fuldstændig korrelation) på 0,44. Overensstemmelsen de enkelte PS-kategorier hver for sig lå i samme leje. Vurderede én onkolog, at PS var 0-2, så var sandsynligheden for, at en anden onkolog ville gøre det samme 0,92.  For PS på 3 og 4 var sandsynligheden 0,82.

Roila et al. (1991) gjorde omtrent det samme og bad 2 onkologer og patienten selv om at vurdere performance status, og de fandt en overordnet Cohen’s kappa på 0,92 for interraterreliabiliteten.

Jeg prøvede at finde et studie af May et al. (2012), som angiveligt skulle vise særdeles dårlig korrelation, men det fremgår ikke af pubmed og google er heller ikke en god ven.