Rachel Thomas, PhD – „KI wird Krebs heilen“ missversteht sowohl KI als auch Medizin

Wie automatisierte Entscheidungsfindung eingesetzt wird

Automatisierte Computersysteme, oft unter Einbeziehung von KI, werden zunehmend eingesetzt, um Entscheidungen zu treffen, die große Auswirkungen auf das Leben der Menschen haben: darüber, wer Arbeit, Wohnraum oder Gesundheitsversorgung bekommt. Beunruhigende Muster sind in zahlreichen Ländern und in einer Reihe von Systemen zu finden: Normalerweise gibt es keine Möglichkeit, Fehler aufzudecken oder zu korrigieren, und allzu oft besteht das Ziel darin, die Einnahmen von Unternehmen und Regierungen zu steigern, indem armen Menschen Ressourcen vorenthalten werden, die sie zum Überleben benötigen.

Einer Frau in Frankreich wurden die Lebensmittelleistungen durch ein Computerprogramm gekürzt und sie kann sich nicht mehr genug zu essen leisten. Sie sprach mit einem Programmverantwortlichen, der sagte, die Kürzung sei auf einen Fehler im Computerprogramm zurückzuführen, konnte dies jedoch nicht ändern. Ihre Lebensmittelleistungen wurden ihr nicht wieder gewährt. Das System wurde so konzipiert, dass der Computer immer als korrekt gilt, auch wenn der Mensch einen Fehler erkennt. Diese Frau war nicht allein; Sie war eine von 60.000 Menschen, die aufgrund dieser Fehler hungerten.

Einem Mann in Australien wurde mitgeteilt, dass ihm Sozialleistungen zu viel gezahlt worden seien und er nun Schulden gegenüber der Regierung habe. Bei der Verschuldung handelte es sich um einen Fehler, der auf einer absichtlich fehlerhaften Berechnung im Rahmen des rechnerischen RoboDebt-Programms beruhte. Der Mann hatte jedoch keine Möglichkeit, dies anzufechten. Verzweifelt starb er durch Selbstmord. Dies war kein einmaliger Vorfall. Später stellte sich heraus, dass die australische Regierung fälschlicherweise Schulden für Hunderttausende Menschen gemacht hatte. Sie verschuldete arme Menschen mit einem fehlerhaften Berechnungssystem und ruinierte so effizient und in großem Umfang Leben. Die Regierung hatte die Zahl der armen Menschen, die sie jede Woche verschuldete, im Vergleich zu vor RoboDebt um das Fünfzigfache erhöht.

Eine Frau in den USA mit Zerebralparese brauchte eine Gesundheitshilfe, die ihr dabei half, morgens aus dem Bett zu kommen, ihre Mahlzeiten zu bekommen und andere grundlegende Aufgaben zu erledigen. Ihre Pflege wurde aufgrund eines Computerfehlers drastisch eingeschränkt. Ihr wurde keine Erklärung und keine Möglichkeit zur Wiedergutmachung gegeben, da sich ihre Lebensqualität drastisch verschlechterte. Erst durch ein langwieriges Gerichtsverfahren wurde schließlich klar, dass viele Menschen mit Zerebralparese aufgrund eines Computerfehlers zu Unrecht ihre Pflege verloren hatten.

Muster in der automatisierten Entscheidungsfindung

Diese Beispiele gehen immer in die gleiche Richtung. Professor Alvaro Bedoya, der Gründungsdirektor des Center on Privacy and Technology am Georgetown University Law Center, schrieb: „Es ist ein Muster im Laufe der Geschichte, dass die Überwachung gegen diejenigen eingesetzt wird, die als „weniger als“ gelten, gegen den armen Mann, die farbige Person, den Einwanderer, den Ketzer. Damit soll versucht werden, marginalisierte Menschen davon abzuhalten, an die Macht zu gelangen.„Das gleiche Muster findet sich in der Rolle der Technologie in Entscheidungssystemen.

Das Ziel vieler automatisierter Entscheidungssysteme besteht darin, die Einnahmen für Regierungen und Privatunternehmen zu steigern. Wenn dies auf Gesundheit und Medizin angewendet wird, wird das Ziel oft dadurch erreicht, dass armen Menschen Nahrung oder medizinische Versorgung verweigert wird. Menschen vertrauen oft darauf, dass Computer genauer sind als Menschen, eine Tendenz, die als Automatisierungsverzerrung bekannt ist. Eine systematische Überprüfung von 74 Forschungsstudien ergab, dass in einer Reihe von Bereichen, einschließlich des Gesundheitswesens, eine Automatisierungsverzerrung besteht, die einen konsistenten Einfluss ausübt. Diese Voreingenommenheit kann es für Menschen schwieriger machen, Fehler bei der automatisierten Entscheidungsfindung zu erkennen. Darüber hinaus wird die Implementierung von Mechanismen zur Fehlererkennung und -korrektur oft als unnötiger Aufwand angesehen.

In allen oben genannten Fällen erkannten die Menschen, die am stärksten betroffen waren (diejenigen, die den Zugang zu benötigter Nahrung oder medizinischer Versorgung verloren hatten oder zu Unrecht in Schulden gerieten), die Fehler im System am frühesten. Dennoch wurden die Systeme ohne Mechanismen zur Fehlererkennung, zur Beteiligung der Betroffenen und zur Bereitstellung von Wiedergutmachung für die Geschädigten aufgebaut. Leider kann dies auch in der Medizin der Fall sein.

Wie das medizinische System funktioniert

Ein KI-Algorithmus, der MRTs genauer liest, hätte der Neurologin Ilene Ruhoy, MD, PhD, nicht geholfen, als sie einen 7 cm großen Gehirntumor entwickelte. Das Haupthindernis für ihre Behandlung bestand darin, ihre Neurologenkollegen dazu zu bringen, ihren Symptomen zu glauben und überhaupt ein MRT anzuordnen. „Mir wurde gesagt, ich wüsste zu viel, ich arbeite zu hart, ich sei gestresst, ich sei ängstlich“, erzählt Dr. Ruhoy. Nachdem sich ihre Symptome weiter verschlechtert hatten, konnte sie schließlich ein MRT machen und wurde dringend zu einer siebenstündigen Operation eingeliefert. Aufgrund der Verzögerung ihrer Diagnose war ihr Tumor so groß, dass er nicht vollständig entfernt werden konnte, was dazu führte, dass er seit ihrer ersten Operation nachwuchs.

Die Erfahrung von Dr. Ruhoy ist leider weit verbreitet. Während Dr. Ruhoy in den USA lebt, ergab eine Studie im Vereinigten Königreich, dass fast jeder dritte Patient mit Hirntumoren mindestens fünf Mal einen Arzt aufsuchen musste, bevor er eine genaue Diagnose erhielt. Auch hier kann die MRT-bewertende KI diesen Patienten nicht helfen, deren Ärzte von vornherein kein MRT anordnen würden. Im Durchschnitt dauert es 7 Jahre, bis Lupus-Patienten eine korrekte Diagnose erhalten, und bei jedem Dritten wird zunächst eine Fehldiagnose gestellt, da Ärzte fälschlicherweise behaupten, psychische Probleme seien die Ursache ihrer Symptome. Sogar Mitarbeiter im Gesundheitswesen sind oft schockiert darüber, wie schnell sie entlassen werden und ihnen kein Vertrauen entgegengebracht wird, sobald sie Patienten sind. Beispielsweise ergaben Interviews mit einem Dutzend Beschäftigten im Gesundheitswesen, dass ihre Kollegen dazu übergingen, ihr Fachwissen zu verwerfen, sobald sie an Long Covid erkrankten.

Diese Missachtung der Patientenerfahrung und des Patientenwissens schränkt das medizinische Wissen erheblich ein. Dies führt zu verzögerten Diagnosen, Fehldiagnosen, fehlenden und falschen Daten. KI ist hervorragend darin, Muster in vorhandenen Daten zu finden. Allerdings wird KI dieses Problem fehlender und fehlerhafter zugrunde liegender Daten nicht lösen können. Darüber hinaus gibt es eine negative Rückkopplungsschleife im Zusammenhang mit dem Mangel an medizinischen Daten für schlecht verstandene Krankheiten: Ärzte glauben den Patienten nicht und tun sie als ängstlich ab oder beschweren sich zu sehr und sammeln keine Daten, die zur Aufklärung der Krankheit beitragen könnten.

Die falschen Daten

Noch schlimmer ist, dass Forschungsprobleme häufig umformuliert werden, um unzureichende Datenquellen zu nutzen. Die Analyse elektronischer Patientenakten ist kostengünstiger als die Suche nach neuen Kausalmechanismen. Medizinische Daten werden häufig durch die Kategorien der Abrechnungscodes, durch die Angaben der Ärzte zum Konto eines Patienten und durch die angeordneten Tests eingeschränkt. Die Daten sind grundsätzlich unvollständig.

Medizinische Voreingenommenheit ist weit verbreitet: Studien belegen, dass Ärzte schwarzen Patienten weniger Schmerzmittel verabreichen als weißen Patienten wegen der gleichen Beschwerden. Im Durchschnitt müssen Frauen Monate oder Jahre länger warten als Männer, um eine genaue Diagnose für die gleichen Erkrankungen zu erhalten. Dies wirkt sich auf die Daten aus, die gesammelt und für die KI verwendet werden. Mehrere Forschungsstudien haben gezeigt, dass KI nicht nur bestehende Vorurteile kodiert, sondern auch deren Ausmaß verstärken kann. Im Grunde beruhen diese Vorurteile oft darauf, dass marginalisierten Menschen nicht über ihre Erfahrungen geglaubt wird: weder wenn sie sagen, dass sie Schmerzen haben, noch wie sie über ihre Symptome berichten.

Auf einer tieferen Ebene schränkt die Ignorierung der Patientenexpertise die Hypothesenbildung ein und kann den Forschungsfortschritt verlangsamen. Diese Probleme werden sich auf die KI ausweiten, es sei denn, Forscher suchen nach Möglichkeiten, eine sinnvolle Patientenbeteiligung einzubeziehen. Diese Probleme sind nicht auf ein bestimmtes Land oder ein bestimmtes medizinisches System beschränkt. Es ist gut dokumentiert, dass Patienten in den USA, Großbritannien, Australien und Kanada (den vier Ländern, mit denen ich am besten vertraut bin) unter diesen Problemen leiden.

Ehrlich über die Risiken und Chancen sein

Obwohl KI transformative Möglichkeiten für die Medizin bietet, ist es wichtig, dass wir uns sowohl der Risiken als auch der Chancen im Klaren sind. Viele Vorträge über medizinische KI erwecken den Eindruck, dass das Einzige, was die Medizin zurückhält, mangelndes Wissen ist. Die vielen anderen Faktoren, die die medizinische Versorgung beeinflussen, einschließlich der systematischen Missachtung des Wissens der Patienten über ihre eigenen Erfahrungen, werden in diesen Diskussionen oft ignoriert. Das Ignorieren dieser Realitäten wird dazu führen, dass Menschen KI für ein idealisiertes medizinisches System entwickeln, das es nicht gibt. Es gibt bereits ein klares Muster, nach dem KI eingesetzt wird, um die Macht zu zentralisieren und den Marginalisierten zu schaden. In der Medizin könnte dies dazu führen, dass Patienten, die bereits entmachtet und häufig missachtet werden, noch weniger Autonomie oder Mitsprache haben.

Zu den vielversprechendsten Forschungsbereichen gehören meiner Meinung nach partizipative Ansätze für maschinelles Lernen und patientengeführte medizinische Forschung. Der Workshop „Partizipative Ansätze zum maschinellen Lernen“ am ICML umfasste eine leistungsstarke Sammlung von Vorträgen und Papieren über die Notwendigkeit und die Möglichkeiten, Systeme mit stärkerer Beteiligung der Betroffenen zu entwerfen. KI-Ethikarbeit zu Themen der Anfechtbarkeit (Einrichtung von Möglichkeiten für die Teilnehmer, Ergebnisse anzufechten) und umsetzbarer Rückgriffe sind notwendig. Für die medizinische Forschung im Allgemeinen ist die Patient Led Research Collaborative (mit Schwerpunkt auf Long Covid) ein ermutigendes Modell. Ich hoffe, dass wir innerhalb der medizinischen KI mehr Anstrengungen sehen können, um das Fachwissen der Patienten zu zentrieren.

Zum Weiterlesen/Anschauen:

Vielen Dank an Jeremy Howard und Krystal South für ihr Feedback zu früheren Entwürfen dieses Beitrags.

Sie können sich anmelden, um über neue Blogbeiträge benachrichtigt zu werden, indem Sie unten Ihre E-Mail-Adresse angeben: