Die Brust-Screening-KI hat die durchschnittliche Leistung von 552 menschlichen Lesern bei der Erkennung oder dem Ausschluss von Krebs in einer Studienstichprobe von 120 Fällen verglichen.
Darüber hinaus erzielte die KI bei der Bezugnahme auf die Erinnerungsraten des Algorithmus auf die mittlere Leistung des menschlichen Lesers einen weiteren Gleichstand (90 % bis 91 % Sensitivität und 76 % bis 77 % Spezifität).
Die Fälle umfassten 161 normale Brüste, 70 bösartige Brüste und neun gutartige Brüste. Zu den Lesern gehörten 315 staatlich geprüfte Radiologen, 206 britische Radiologen und 31 Brustkrebsärzte.
Die Studie wurde an der University of Nottingham im Vereinigten Königreich durchgeführt und veröffentlicht Radiologie 5. September [1].
Für das direkte Duell verwendeten Yan Chen und Kollegen zwei Testsätze mit jeweils 60 anspruchsvollen Fällen. Sie entnahmen die Sets einem Leistungsbewertungsprogramm namens „Performs“ für die persönliche Leistung beim Mammografie-Screening, das in Großbritannien seit mehr als 30 Jahren zur Prüfung von Mammografie-Fachkräften eingesetzt wird
Die Forscher ließen die menschlichen Leser die Tests im Jahr 2021 und die KI im Jahr 2022 absolvieren.
Die Leser, sowohl Menschen als auch Maschinen, bewerteten die Bilder, indem sie den anomalen Merkmalen in jeder Brust einen Malignitätsverdachtswert zuordneten.
Konzept erprobt, klinisch in der Zukunft
Bei der Überprüfung der Ergebnisse stellten Chen und Kollegen auf Brustebene fast keinen Unterschied zwischen der AUC für KI und der AUC für menschliche Leser fest (0,93 % bzw. 0,88 %).
Bei der Anwendung eines festgelegten Schwellenwerts für die Erinnerungswerte stellten sie wiederum keinen signifikanten Unterschied in der Empfindlichkeit fest (84 % für die KI, 90 % für den Menschen).
Interessanterweise hatte die KI eine deutlich höhere Spezifität als der Mensch, 89 % gegenüber 76 %.
In ihrer Diskussion erkennen Chen und Co-Autoren mehrere Einschränkungen im Studiendesign an. Hierzu zählen zunächst die geringe Größe und die atypische Zusammensetzung der Mammogramme in den Performs-Datensätzen.
Angesichts dieser Schwächen waren die verwendeten Fälle nicht repräsentativ für typische Screening-Populationen: Sie sind mit absichtlich schwierigen Fällen „angereichert“, spiegeln wahrscheinlich keine rassisch oder ethnisch unterschiedliche Gruppe von Patienten wider und sind aus diesen und weiteren Gründen fraglich verallgemeinerbar.
Dennoch behaupten Chen und Co-Autoren, dass der Einsatz externer Qualitätsbewertungssysteme wie Performs „ein Modell für die regelmäßige Bewertung der Leistung von KI auf ähnliche Weise wie die Überwachung menschlicher Leser darstellen könnte.“ … [F]Es sind weitere Arbeiten erforderlich, um sicherzustellen, dass dieses Bewertungsmodell für andere KI-Algorithmen, Screening-Populationen und Leser funktionieren kann.“
Soviel zum zweiten Lesen?
In einem begleitenden Meinungsbeitrag weist die Yale-Radiologin Liane Philpotts, MD, darauf hin, dass der Erfolg der KI in der Nottingham-Studie bedeutet, dass die Tage der Doppellesung gezählt sind [2].
Während die europäischen Richtlinien eine doppelte Befundung aller Mammogramme empfehlen, bemerkt Philpotts, macht der Mangel an qualifizierten Befundern auf der ganzen Welt „die doppelte Befundung zu einer unhaltbaren Belastung, für die KI eine logische Lösung ist.“
Mehr:
„Während die Doppelbefundung in den Vereinigten Staaten im Allgemeinen nicht angewendet wird, sind viele US-amerikanische Radiologen, die Mammographien interpretieren, nicht spezialisiert und lesen keine großen Mengen an Mammographien. Somit ist das von Chen et al. evaluierte KI-System. könnte als ergänzendes Hilfsmittel verwendet werden, um die Leistung von Lesegeräten in den Vereinigten Staaten oder in anderen Ländern zu verbessern, in denen Screening-Programme eine einzige Messung verwenden.“
