KI-Leistungsprüfung Lungenembolie: Software erkennt kleine Gerinnsel seltener

Anbieter zum Thema

KUMAVISION AG

COSMO CONSULT Gruppe

Metecon GmbH

Wie zuverlässig erkennt eine medizinische KI Lungenembolien im Klinikalltag? Eine Auswertung von knapp 68.000 CT-Untersuchungen zeigt deutliche Unterschiede je nach Lage der Gerinnsel. Für Entwickler und Qualitätsverantwortliche liefert sie Anhaltspunkte zur Leistungsüberwachung. Der Vergleich mit FDA-Prüfwerten verlangt allerdings Vorsicht.

Ein Gerinnsel in einer großen Lungenarterie fällt einer Erkennungssoftware eher auf als eines im feinen Gefäßast. Wie deutlich dieser Unterschied ausfällt, zeigt eine Untersuchung zweier Aidoc-Algorithmen durch Forscher der Emory University in Atlanta. Sie werteten 30.678 gezielte CT-Pulmonalisangiografien und 37.191 andere kontrastverstärkte CT-Untersuchungen aus 17 Einrichtungen eines Gesundheitssystems aus [1].

Zwei Modelle für unterschiedliche Aufnahmen

Bei einer Lungenembolie verlegt ein eingeschwemmtes Blutgerinnsel eine Lungenarterie. Bei der CT-Pulmonalisangiografie wird der Aufnahmezeitpunkt auf die Kontrastmittelgabe abgestimmt, damit diese Gefäße gut sichtbar sind. In Untersuchungen wegen anderer Fragestellungen können Embolien zufällig mitabgebildet werden. Für beide Aufgaben wurden getrennte Algorithmen geprüft. Sie melden verdächtige Untersuchungen für eine frühere Befundung; die Diagnose stellen Radiologen anhand der Originalbilder [1–3].

Das Modell für gezielte Untersuchungen erreichte 86,8 Prozent Sensitivität bei 99,1 Prozent Spezifität. Bei Sattelembolien an der Gabelung des Lungenarterienstamms betrug die Sensitivität 99,3 Prozent, bei subsegmentalen Embolien in kleinen Gefäßästen 72,9 Prozent. Akute Befunde erkannte es mit 89,7 Prozent Sensitivität, nicht akute mit 65,3 Prozent. Das Modell für Zufallsbefunde erreichte insgesamt 73,5 Prozent Sensitivität und 99,8 Prozent Spezifität [1]. Die Aufschlüsselung zeigt, welche Erkennungsschwächen eine Gesamtkennzahl verdecken kann.

FDA-Werte verlangen genaue Zuordnung

Die Sensitivitäten lagen unter den herangezogenen FDA-Prüfwerten. Ein eindeutiger Leistungsabfall lässt sich daraus jedoch nicht ableiten. Für das Modell der gezielten Untersuchungen dokumentiert die FDA mehrere Betriebspunkte, also Einstellungen mit unterschiedlichem Verhältnis zwischen Erkennungsrate und Fehlalarmen. Am Standardbetriebspunkt stehen 94,86 Prozent Sensitivität und 94,04 Prozent Spezifität. Eine auf höhere Spezifität ausgelegte Einstellung erreicht 86,45 beziehungsweise 98,25 Prozent – Werte nahe denen der Routineauswertung [2]. Welcher Betriebspunkt im Klinikbetrieb verwendet wurde, geht aus der Studie nicht hervor.

Beim Modell für Zufallsbefunde nennt die FDA-Unterlage K213886 eine Sensitivität von 89,7 Prozent bei 90,1 Prozent Spezifität. Die Prüfung umfasste 159 Fälle auf Philips- und Toshiba-Scannern und diente der Erweiterung auf beide Hersteller [3]. Als allgemeiner Maßstab für den Klinikbetrieb eignen sich diese Werte nur bedingt. Zudem konnten die Forscher nicht prüfen, ob die eingesetzte Modellversion der regulatorisch geprüften entsprach [1].

Referenz und Übertragbarkeit begrenzt

Als Referenz dienten Radiologieberichte, deren Angaben ein Sprachmodell extrahierte. Für die Abstimmung und Prüfung der Extraktion wurden 500 Berichte manuell annotiert, davon 200 für die abschließende Validierung. Eine unabhängige Neubefundung aller CT-Bilder erfolgte nicht. Da KI-Hinweise bei der Befundung verfügbar waren, wirkt eine mögliche Verzerrung nach Einschätzung der Autoren am ehesten zugunsten des Modells: Ein Hinweis kann die Bestätigung subtiler Embolien begünstigen. Gegenüber einer unabhängigen Bildreferenz könnte die Sensitivität daher niedriger ausfallen [1].

Von ursprünglich 40.490 gezielten Untersuchungen wurden 8.127 wegen unzureichender Bildqualität und 1.685 wegen uneindeutiger Klassifikation ausgeschlossen. Wie die KI bei den technisch unzureichenden Aufnahmen arbeitete, bleibt damit offen. Auch die Übertragbarkeit ist begrenzt, weil alle Einrichtungen zu einem Gesundheitssystem gehören. Aussagen zu schnellerer Behandlung oder besseren Versorgungsergebnissen erlaubt die Untersuchung nicht [1].

Für Entwickler und Qualitätsverantwortliche spricht die Auswertung dafür, die Leistung im Betrieb nach Befundgruppen zu verfolgen. Dabei müssen Modellversion und Betriebspunkt dokumentiert werden, damit Vergleiche aussagekräftig bleiben.

Quellen

[1] Mansuri A, Chavoshi M, Dapamede T, et al. Multi-site real-world performance of commercial AI for pulmonary and incidental pulmonary embolism detection. npj Digit Med. Article in Press. Online veröffentlicht am 21. Oktober 2026. doi:10.1038/s41746-026-03418-3.
[2] US Food and Drug Administration. BriefCase: 510(k) Premarket Notification K222277, einschließlich 510(k) Summary [Internet]. 26. August 2022 [zitiert am 25. Oktober 2026]. Verfügbar unter: https://www.accessdata.fda.gov/cdrh_docs/pdf22/K222277.pdf
[3] US Food and Drug Administration. BriefCase: 510(k) Premarket Notification K213886, einschließlich 510(k) Summary [Internet]. 26. April 2022 [zitiert am 25. Oktober 2026]. Verfügbar unter: https://www.accessdata.fda.gov/cdrh_docs/pdf21/K213886.pdf