KI-Transparenzregel hat Vorteile, ist aber begrenzt, schlagen Experten vor

Die endgültige Regelung des HHS zur Transparenz in der künstlichen Intelligenz (KI) hat einige positive Punkte, wird aber laut einem Rechtsexperten nicht alle Herausforderungen lösen, die diese neue Technologie mit sich bringt.

„Ich bin froh zu sehen, dass es eine zeitgemäße Regelung gibt“, sagte Meghan O’Connor, JD, Partnerin der Anwaltskanzlei Quarles & Brady in Milwaukee, in einem Telefoninterview. „Der Prozess der Regelsetzung ermöglicht es oft nicht, rechtzeitig zu sein oder den aktuellen Sicherheits- und Technologiepraktiken gerecht zu werden. Das sehe ich gerne.“

Die Regel wurde entwickelt, weil es derzeit „selbst für zahlende Kunden von Vorhersagemodellen sehr wenig Transparenz auf dem Markt gibt“, sagte Jeff Smith, MPP, stellvertretender Direktor für Zertifizierung und Tests beim Office of the National Coordinator (ONC) for Health Information Technology des HHS, sagte in einem Telefoninterview, bei dem ein Pressesprecher anwesend war.

Er stellte fest, dass prädiktive KI zwar in vielen Bereichen des Gesundheitswesens eingesetzt werden kann – „Modelle, die beispielsweise die Wahrscheinlichkeit untersuchen, dass ein Patient einen Herzinfarkt erleidet, ins Krankenhaus fällt oder an Sepsis erkrankt“, – „es aber nur sehr wenig gibt.“ Informationen darüber, wie diese Modelle entworfen, entwickelt, getestet, trainiert und bewertet wurden. Und in den letzten Jahren kam es zu wirklich gut dokumentierten Schäden [from these models] Das war weitreichend und hat Auswirkungen auf Millionen von Amerikanern.“

Smith nannte mehrere Beispiele dafür, wie Vorurteile und andere Probleme bei KI-Vorhersagealgorithmen zu negativen Ergebnissen für Patienten geführt haben. Eine Studie aus dem Jahr 2019 von Ziad Obermeyer, MD, von der University of California Berkeley, und Kollegen ergab, dass ein Algorithmus, der von kommerziellen Gesundheitsplänen häufig zur Identifizierung von Patienten mit komplexen Gesundheitsbedürfnissen verwendet wird, die zusätzliche Hilfe benötigen, rassistisch voreingenommen gegenüber schwarzen Patienten war, und dass dies zu einer Reduzierung der daraus resultierenden Auswirkungen führte Diese Ungleichheit würde den Anteil der schwarzen Patienten, die die zusätzlichen Leistungen erhielten, von 17,7 % auf 46,5 % erhöhen.

„Diese Verzerrung entstand, weil der Algorithmus frühere Ausgaben als Stellvertreter für zukünftige Ausgaben verwendete, und wie die Literatur zeigt, ist die Wahrscheinlichkeit, dass schwarze Amerikaner Pflege erhalten, geringer und sie geben als Gruppe viel weniger für Pflege aus als weiße Amerikaner, daher diese Verwendung.“ „Die Einführung eines Stellvertreters für Gesundheitskosten hat wirklich ein ziemlich helles Licht darauf gezeigt, wie das schief gehen kann“, sagte Smith.

Eine andere Studie aus dem Jahr 2021 von Andrew Wong, MD, von der University of Michigan in Ann Arbor, und Kollegen ergab, dass ein von Epic, einem großen Anbieter elektronischer Gesundheitsakten (EHR), entwickelter Algorithmus zur Vorhersage, welche Krankenhauspatienten eine Sepsis entwickeln würden, nicht identifiziert werden konnte mehr als zwei Drittel (67 %) der Patienten entwickelten die Erkrankung.

„Die Leistung war viel schlechter als angekündigt“, sagte Smith. „Und wenn man anfängt, maßstabsgetreu zu denken, weiß man, dass Epic nach eigenen Angaben Krankenakten von 180 Millionen Personen umfasst … Das hat echte Konsequenzen, wenn man an so etwas wie Sepsis denkt.“

Unter der als HTI-1 bekannten Regel hat ONC „zwei große Richtlinien und Anforderungen finalisiert“, bemerkte Smith. Die Regel verlangt „diese Informationen darüber, wie die prädiktiven DSIs funktionieren.“ [decision support interventions] entworfen, entwickelt, trainiert, evaluiert wurden und verwendet werden sollen, müssen den Benutzern des Vorhersagealgorithmus zur Verfügung stehen. Und dann haben wir gesagt, dass das Risiko für diese prädiktiven DSIs gemanagt werden muss und dass die Governance eine Rolle bei der Gestaltung und Umsetzung dieser prädiktiven DSIs spielen muss.“

Die Absicht hinter einigen KI-Modellen ist nicht immer transparent, sagte Mandar Karhade, MD, PhD, Leiter für Daten und Analysen bei Avalere Health, einem Beratungsunternehmen in Washington, D.C. „Entweder möchte ich Patienten diagnostizieren oder ich möchte etwas Geld sparen oder.“ „Ich möchte etwas anderes machen, für das das Modell geschaffen wurde“, sagte er während eines Telefoninterviews, bei dem ein PR-Mitarbeiter anwesend war.

EHRs seien ein Bereich, der reif für mögliche Probleme im Zusammenhang mit KI sei, fügte er hinzu. Beispielsweise hat Oracle vor kurzem eine „Autovervollständigung“-Funktion in seine EHR eingeführt, und obwohl diese sich sehr gut für die Dokumentation gesunder Patienten eignet, „manchmal wird man etwas übersehen oder es wird etwas ‚halluziniert‘ und etwas hinzugefügt.“ Etwas, das Ihre Augen nicht erkennen können, aber es ist jetzt Teil der elektronischen Gesundheitsakte, und Sie wollten nicht, dass es passiert. Es gibt also gute und schlechte Dinge, die damit einhergehen.“

Die Idee hinter der Regel ähnelt einer Nährwertkennzeichnung für Lebensmittel, sagte Smith. „Zum ersten Mal erfordert die Regel neun Kategorien von Informationen und 31 Maße, Metriken und Beschreibungen, die mit einem ziemlich wichtigen Bereich der verfügbaren Technologie verbunden sind. Und dadurch wird ein landesweiter Basisdatensatz erstellt, auf dem medizinische Gesellschaften, Einzelne Krankenhäuser, Technologieunternehmen, Patienten und andere können neuere Maßnahmen entwickeln, um den Menschen zu helfen, die relative Qualität des von ihnen verwendeten Algorithmus zu verstehen.“

O’Connor war mit dem Vergleich mit einer Nährwertkennzeichnung nicht einverstanden. „Diese Informationen sind weder objektiv noch messbar“, sagte sie. „Es ist nicht so, dass wir beweisen können, dass es eine ‚2 %-Voreingenommenheit‘ gibt.“ Wie werden diese Informationen also von den Gesundheits-IT-Entwicklern kommuniziert, und wie werden die Anbieter diese Informationen dann für ihre Risikoanalyse nutzen?“

Niam Yaraghi, PhD, ein nicht ansässiger Senior Fellow an der Brookings Institution in Washington, D.C., sagte in einem Telefoninterview, dass er die Regel ein wenig „reaktionär“ finde, in dem Sinne, dass sie keine Richtlinien oder Empfehlungen vorgibt, die eine schnelle Umsetzung gewährleisten würden Fortschritte in der KI voranzutreiben oder sie zumindest zu leiten, scheint eine Reaktion auf die Bedenken der Community hinsichtlich der Fairness in der KI zu sein.“ Und obwohl Fairness ein hehres Ziel ist, „muss man, wenn man letztendlich Fairness anstrebt, es zuerst tun.“ [improve] Leistung.”

Um dies zu erreichen, wäre es für die Regierung viel besser, über die bestehenden Hürden nachzudenken, die eine Leistungsverbesserung behindern, sagte er. „Eine Sache, die KI-Systeme brauchen, sind Daten, die im Gesundheitssystem immer noch sehr isoliert sind, obwohl Millionen ausgegeben wurden, um die Interoperabilität sicherzustellen … Wenn wir sie entfernen.“ [barriers] Aufgrund des Mangels an guten Daten würde das Ziel von Fairness und Leistung viel schneller erreicht werden.“