The Great Reality Check Teil 2: Akuter Hirnschlag
Lesen Sie die Ergebnisse unserer neuen Anwenderstudien – aktuell und transparent!
Zweck:
Ziel der Studie war es, die Performance eines gängigen AI-Assistenten bei akutem Hirnschlag prospektiv zu bestimmen, validiert mit den Akutbefunden von in der Notfallradiologie spezialisierten Radiologen sowie bildgebendem und klinischem Follow up.
Patienten, Material und Methoden:
Im Jahr 2025 wurden 88 Patienten (Alter: 18 bis 89 Jahre, Mittel: 52 Jahre, Standardabweichung: ± 25 Jahre), die mit dem Verdacht auf einen akuten Hirnschlag zur CT des Neurokraniums an ERS Emergency Radiology Schueller, einem Anbieter teleradiologischer Dienste überwiesen worden waren, über drei aufeinanderfolgende Wochen randomisiert und prospektiv in die Studie aufgenommen. Die CT-Untersuchungen dieser Patienten wurden von einem gängigen, käuflich erwerblichen AI-Assistenten ausgewertet. Die Radiologen beurteilten die CT-Untersuchungen, ohne die AI-Ergebnisse im Vorfeld zu kennen, und verglichen die radiologischen Befunde in einem zweiten Schritt mit den AI-Ergebnissen. Als Goldstandard galten die radiologischen Befunde sowie das klinische Follow up. Bei Diskrepanzen zwischen den radiologischen Befunden und den AI-Ergebnissen wurden die CT-Untersuchungen spätestens innerhalb von 30 Minuten einer Zweitbefundung unterzogen. Die Studie wurde aufgrund der AI-Ergebnisse vorzeitig beendet.
Ergebnisse:
Von 88 Patienten konnten 14 AI-Ergebnisse nicht abgerufen werden. Für 74 Patienten diagnostizierten Radiologen und das klinische Follow up 2 akute Ischämien (2,7 %). Der AI-Assistent lieferten 2 richtig positive (TP), 58 falsch positive (FP), 0 falsch negative (FN) und 14 richtig negative (TN) Befunde; Sensitivität 1,0; Spezifität 0,194; positiver Vorhersagewert (PPV) 0,033; negativer Vorhersagewert (NPV) 1,0. In einem zweiten Schritt wurden die Ergebnisse des AI-Assistenten entlang des klinisch und therapeutisch relevanten Schwellenwerts des ASPECTS Scores 7 oder kleiner berechnet: Der AI-Assistent lieferte 2 TP, 32 FP, 0 FN und 14 TN Befunde; Sensitivität 1,0; Spezifität 0,304; PPV 0,059; NPV 1,0.
Diskussion:
Der AI-Assistent erbrachte 58 von 74 FP (78%) und zwei von 74 TP (2,7%). Diese Rate sowie das Fehlen von FN deuten darauf hin, dass der Hersteller FP zugunsten der Sensitivität in Kauf nimmt. Die errechnete Spezifität ist deutlich geringer als in den Veröffentlichungen des AI-Herstellers offiziell angegeben. Die Auswertung entlang des klinisch und therapeutisch relevanten Schwellenwerts des ASPECTS Scores 7 erbrachte ein ähnliches Bild. Die Datensammlung wurde vorzeitig beendet, und die niedrige erreichte Fallzahl stellt sicherlich eine Limitation unserer Studie dar. Auf Basis der vorhandenen Daten muss davon ausgegangen werden, dass die CT-Diagnostik des akuten Hirnschlags mit ihrer Komplexität auch durch vorbestehende, nicht akute Läsionen des Hirngewebes insbesondere älterer Patienten, vorerst uneingeschränkt in den Händen erfahrener Radiologen bleiben soll.