Wie zuverlässig sind Testergebnisse?

Fragestellung

Eine Person fühlt sich gerade krank und macht einen Corona-Schnelltest. Leider fällt der Test positiv aus.

Ein positiver Schnelltest

Der Test ist zwar positiv, aber wie sicher kann sich die Person sein, dass sie wirklich an Corona erkrankt ist, d.h. wie sicher kann sie sich sein, dass das Testergebnis korrekt ist? Die gleiche Frage könnte man sich auch stellen, wenn der Test negativ wäre: Wie sicher ist es in diesem Fall, dass die Person wirklich nicht an Corona erkrankt ist?

Als erstes sehen wir uns den Beipackzettel des Schnelltests in der Hoffnung an, dass wir dort Antworten auf unsere Fragen finden.

Der Beipackzettel eines handelsüblichen Covid-19-Schnelltests

Versuchen wir, die Informationen zu entschlüsseln. Offenbar wurde eine Studie durchgeführt, in der Personen Proben entnommen wurden. Diese wurden einem RT-PCR-Test und einem Schnelltest der Marke CLUNGENE per Nasenabstrich (nasal swab) unterzogen und für jede Person wurden die Ergebnisse der beiden Tests miteinander verglichen.

In dieser Studie sind wir nur an der Genauigkeit des Schnelltests interessiert. Dazu nehmen wir an, dass das Ergebnis des RT-PCR-Tests exakt ist und wir damit wissen, ob eine Person an Covid-19 erkrankt ist oder nicht. Wir überprüfen dann, ob der Schnelltest den Krankheitszustand der Personen richtig erkennt oder nicht. Statt Schnelltest schreiben wir ab hier nur kurz Test.

Werten wir das Ergebnis eines solchen Tests aus, können wir zunächst feststellen, dass wir es mit vier Möglichkeiten zu tun haben:

• Die Person ist krank und der Test ist positiv.
• Die Person ist krank und der Test ist negativ.
• Die Person ist gesund und der Test ist positiv.
• Die Person ist gesund und der Test ist negativ.

Man kann das übersichtlich als Tabelle darstellen:

Diese Tabellendarstellung wird Wahrheitsmatrix oder auch Konfusionsmatrix genannt.

Unter der Konfusionsmatrix im Beipackzettel finden wir noch zwei Prozentangaben: PPA und NPA. Diese wurden aus den Werten in der Tabelle berechnet und sind Gütemaße für medizinische Tests:

PPA bedeutet Positive Percent Agreement oder auch Richtig-Positiv-Rate, bzw. Sensitivität (Sensitivity). Der Wert gibt an, wie viele Prozent von nachweislich positiven Covid-Fällen vom Test richtig als positiv erkannt werden. Bei unserem Test sind es im Mittel 91.4%.

NPA bedeutet Negative Percent Agreement oder auch Richtig-Negativ-Rate, bzw. Spezifität (Specificity). Der Wert gibt an, wie viele Prozent von nachweislich negativen Covid-Fällen vom Test richtig als negativ erkannt werden. Bei unserem Test sind es im Mittel 99.4%.

Warum beantworten Testgenauigkeit, Sensitivität und Spezifität nicht unsere eigentliche Fragestellung, die wir in der Zusammenfassung rechts oben sehen? Das werden wir uns auf der folgenden Seite anschauen.

Analyse

Zur Formalisierung des Problems stellen wir das Vorgehen in der Studie als Baumdiagramm dar, was uns später bei der Beantwortung der eigentlich Fragestellung helfen wird. Wir wissen, wer gesund und wer krank ist und überprüfen für diese Gruppen von Personen jeweils, wie der Test ausfällt:

Baumdiagramm mit Ereignissen

Damit wir später gut rechnen können, definieren wir zunächst zwei Ereignisse und deren Negation. Diese entsprechen den oben genannten Möglichkeiten:

• \(K\):Person krank
• \(\overline K\): Person gesund
• \(T\): Test positiv
• \(\overline T\): Test negativ

Diese Ereignisse können wir in ein Baumdiagramm übertragen, zusammen mit den dazugehörigen Wahrscheinlichkeiten \(P\):

Baumdiagramm mit Ereignissen und deren Wahrscheinlichkeiten

Wie in der Frage eingangs formuliert, möchten wir wissen, wie hoch die Wahrscheinlichkeit ist, dass eine Person tatsächlich krank ist, wenn der Test positiv ausfällt. Das lässt sich mithilfe der oben definierten Ereignisse als bedingte Wahrscheinlichkeit formulieren – die Wahrscheinlichkeit, dass eine Person krank ist, gegeben dass der Test positiv ist: \(P(K \mid T)\). Diese Wahrscheinlichkeit wird auch positiver Vorhersagewert genannt, aber sie taucht im obigen Baumdiagramm nicht auf. Dort sind die Ereignisse K und T vertauscht wie in \(P(T \mid K)\).

\(P(T \mid K)\) wird Sensitivität genannt und ist ein Gütemaß für einen Test, wie wir im Beipackzettel schon gesehen haben. Die Sensitivität gibt an, wie hoch die Wahrscheinlichkeit ist, dass der Test ein positives Ergebnis anzeigt für eine tatsächlich erkrankte Person und wird daher auch Richtig-positiv-Rate genannt.

Um nun den eigentlich gesuchten positiven Vorhersagewert, also die bedingte Wahrscheinlichkeit \(P(K \mid T)\) zu berechnen, können wir den Satz von Bayes benutzen:

\[ P(K \mid T) = \frac{P(T \mid K) P(K)}{P(T)}. \]

Was wir also brauchen, um \(P(K \mid T)\) zu berechnen, sind drei Wahrscheinlichkeiten: \(P(K)\), \(P(T \mid K)\) und \(P(T)\).

\(P(K)\) gibt an, wie hoch generell die Wahrscheinlichkeit ist, zu diesem Zeitpunkt an Corona erkrankt zu sein – ganz unabhängig von einem Testergebnis. Diesen Wert nennt man auch Prävalenz. Genau können wir diese Wahrscheinlichkeit niemals wissen, aber wir können einen Schätzwert nehmen, der dem Anteil der aktuell an Corona infizierten Menschen in Deutschland entspricht. Setzen wir zunächst \(P(K) = 0.2\%\). Das ist in etwa die Prävalenz bei der ersten Coronawelle im Frühjahr 2020 in Deutschland.

Man könnte auch auf die Idee kommen, \(P(K)\) aus der Studie im Beipackzettel abzulesen, doch das ist in den meisten Fällen nicht sinnvoll: die Studie, die zu den Ergebnissen im Beipackzettel geführt hat, untersucht ja gerade wie gut der Test bei kranken Personen funktioniert, daher wurden gezielt Menschen mit nachweislicher Covid-Infektion getestet, so dass hier nicht von einem Querschnitt der Bevölkerung gesprochen werden kann.

Die Wahrscheinlichkeit \(P(T \mid K)\) ist im Beipackzettel als Sensitivität schon angegeben.

Schließlich fehlt noch \(P(T)\): die Wahrscheinlichkeit dafür, dass eine Person – egal ob krank oder gesund – bei einem Test ein positives Ergebnis erhält. Hier hilft uns das Gesetz der totalen Wahrscheinlichkeit, das es uns erlaubt, die Wahrscheinlichkeiten für die beiden Möglichkeiten, die zu positiven Tests führen (Person krank und Person gesund), zu addieren, da sie sich gegenseitig ausschließen:

Baumdiagramm mit beiden Möglichkeiten, die zu positiven Tests führen

Somit erhalten wir

\[ P(T) = P(T \mid K) P(K) + P(T \mid \overline K) P(\overline K), \]

und damit

\[ P(K \mid T) = \frac{P(T \mid K) P(K)}{P(T)} = \frac{P(T \mid K) P(K)}{P(T \mid K) P(K) + P(T \mid \overline K) P(\overline K)}. \]

Das bringt uns allerdings zwei neue Probleme ein: Wir brauchen \(P(T \mid \overline K)\) und \(P(\overline K)\). Beides können wir zum Glück über die Wahrscheinlichkeit für komplementäre Ereignisse berechnen. Damit ist \(P(\overline K)\) (die generelle Wahrscheinlichkeit nicht krank zu sein) leicht zu errechnen, denn \(P(K)\) (die generelle Wahrscheinlichkeit krank zu sein, geschätzt mittels Prävalenz) kennen wir schon: \(P(\overline K) = 100\% - P(K) = 99.8\%\).

Fehlt zu guter letzt noch \(P(T \mid \overline K)\): Die Wahrscheinlichkeit ein positives Testergebnis zu haben, wenn man eigentlich gesund ist (ein falsch-positives Ergebnis). Hier hilft uns ein weiteres Gütemaß für Tests weiter: die Spezifität, auch Richtig-negativ Rate genannt. Sie gibt uns die Wahrscheinlichkeit an, dass eine Person ein negatives Testergebnis erhält, wenn sie tatsächlich gesund ist, also \(P(\overline T | \overline K)\). Auch die Spezifität wird oft im Beipackzettel von Schnelltests abgedruckt, wie wir schon gesehen haben. Wie wir im Baumdiagramm erkennen, ist \(P(\overline T | \overline K)\) komplementär zu \(P(T | \overline K)\) und damit gilt \(P(T | \overline K) = 100\% - P(\overline T | \overline K)\).

wuerfel <- 1:6
___(wuerfel)

wuerfel <- 1:6
mean(wuerfel)

konfmat <- matrix(c(139, 13, 3, 462), ncol = 2)
colnames(konfmat) <- c("krank", "gesund")
rownames(konfmat) <- c("positiv", "negativ")
konfmat

konfmat <- matrix(c(139, 13, 3, 462), ncol = 2)
colnames(konfmat) <- c("krank", "gesund")
rownames(konfmat) <- c("positiv", "negativ")
konfmat

konfmat <- matrix(c(139, 13, 3, 462), ncol = 2)
colnames(konfmat) <- c("krank", "gesund")
rownames(konfmat) <- c("positiv", "negativ")
konfmat[1, 1] / sum(konfmat[,1])

Der Einfluss von Prävalenz und Testgenauigkeit

Schauen wir uns noch mal die Berechnung der bedingten Wahrscheinlichkeit \(P(K \mid T)\) an:

\[\begin{align} P(K \mid T) &= \frac{P(T \mid K) P(K)}{P(T \mid K) P(K) + P(T \mid \overline K) P(\overline K)} \\[10pt] &= \frac{0.914 \cdot 0.002}{0.914 \cdot 0.002 + 0.006 \cdot 0.998} \\[10pt] &= 0.2339. \end{align}\]

Man sieht daran sehr gut, welch großen Einfluss die Prävalenz auf das Gesamtergebnis hat: Selbst bei hoher Sensitivität des Tests wird der Zähler \(P(T \mid K) P(K)\) und damit das Gesamtergebnis sehr klein, wenn die Prävalenz sehr klein ist. Das macht auch intuitiv Sinn: Wenn es insgesamt sehr wenige Fälle einer Krankheit gibt, ist die Wahrscheinlichkeit vergleichsweise gering, dass eine Person ausgerechnet damit erkrankt ist, selbst wenn der Test positiv ausfällt. Dagegen ist die Wahrscheinlichkeit sehr hoch, dass eine Person an einer Krankheit erkrankt ist, bei der es gerade viele Krankheitsfälle gibt (die Prävalenz also sehr hoch ist) ganz unabhängig davon, wie gut der Test funktioniert.

Wir können das auch visualisieren, indem wir \(P(K \mid T)\) in Abhängigkeit der Prävalenz darstellen für fest gewählte Sensitivität und Spezifität:

Wir sehen, wie stark die Kurve ansteigt und schon bei einer Prävalenz von 10% können wir einem Testergebnis mit der gegebenen Sensitivität und Spezifität trauen. Für geringere Prävalenzen ist das weniger gerechtfertigt, wie hier noch mal im Detail dargestellt:

Andererseits zeigt es auch, wie wichtig genaue Tests sind. Bei niedriger Prävalenz spielt hierbei besonders die Spezifität eine wichtige Rolle, wie folgende Grafiken zeigen:

Mittels dieser interaktiven Grafik können Sie für selbst gewählte Sensitivitäts- und Spezifitätswerte den positiven Vorhersagewert in Abhängigkeit zur Prävalenz darstellen:

Die Spezifität \(P(\overline T \mid \overline K)\) hat einen großen Einfluss, denn wie wir schon gezeigt haben gilt

\[\begin{align} P(K \mid T) &= \frac{P(T \mid K) P(K)}{P(T \mid K) P(K) + P(T \mid \overline K) P(\overline K)} \\[10pt] &= \frac{P(T \mid K) P(K)}{P(T \mid K) P(K) + (1 - P(\overline T \mid \overline K)) P(\overline K)}, \end{align}\]

und da \(P(K)\) sehr klein ist, ist \(P(\overline K)\) sehr groß und somit hat die Spezifität \(P(\overline T \mid \overline K)\) über den Term \((1 - P(\overline T \mid \overline K)) P(\overline K)\) die “Macht” über den Nenner. Damit bewirkt eine hohe Spezifität einen kleinen Nenner und damit einen hohen positiven Vorhersagewert.

Wir sehen also: gute Tests (insbesondere mit hoher Spezifität) können hier gerade am Anfang einer Krankheitswelle einen großen Unterschied machen, denn sie erlauben es schon frühzeitig recht zuverlässig Infektionen zu erkennen, selbst wenn die Prävalenz noch niedrig ist.

Auch andere Parameter und Umstände abseits der Prävalenz und der Testgüte haben noch bedeutenden Einfluss auf das Ergebnis. Insbesondere ist es wichtig, wie gründlich der Abstrich vorgenommen wurde. Es ist auch bekannt, dass die Temperatur die Genauigkeit von Covid-Schnelltests beeinflusst. Sie sehen also, dass die Berechnungen noch deutlich komplexer werden können!

nvw_param <- expand.grid(praev = ___,
                         sens = ___)
nvw_param

nvw_param <- expand.grid(praev = seq(0.1, 0.9, length.out = 9),
                         sens = c(0.8, 0.91, 0.99))
nvw_param

spez <- 0.994
nvw_param$nvw <- ___
nvw_param

spez <- 0.994
nvw_param$nvw <- spez * (1-nvw_param$praev) / (spez * (1-nvw_param$praev) + (1-nvw_param$sens) * nvw_param$praev)
nvw_param

ggplot(nvw_param, aes(___)) +
    ___ +  # "geom_..." für Linienplot
    theme_minimal()

ggplot(nvw_param, aes(praev, nvw, color = sens, group = sens)) +
    geom_line() +
    theme_minimal()