Datenerweiterung kann die LLM-Generalisierung klinischer Notizen verbessern

29. Januar 2024 – Forscher der Johns Hopkins University und der Columbia University haben eine Technik entwickelt, um die Leistung von Modellen der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) für die Analyse medizinischer Notizen zu verbessern, so die Ergebnisse, die auf der 37. Jahreskonferenz über neuronale Informationsverarbeitungssysteme vorgestellt wurden.

Klinische Notizen in elektronischen Gesundheitsakten (EHRs) enthalten eine Fülle wertvoller Daten, die zur Verbesserung der Pflege genutzt werden könnten. Die Überprüfung, Sortierung und Analyse dieser Informationen ist jedoch zu zeit- und ressourcenintensiv, als dass sie manuell durchgeführt werden könnte.

KI-Technologien sind eine potenzielle Lösung für dieses Problem, da diese Tools große Datenmengen schnell verarbeiten können. Fragen zur Generalisierbarkeit und Leistung des Modells stellen jedoch erhebliche Hürden für die Bereitstellung dar.

KI- und ML-Modelle für die Analyse medizinischer Notizen werden in der Regel auf den EHR-Daten von Gesundheitssystemen trainiert, wodurch die Tools lernen, wichtige Informationen über den Gesundheitszustand der Patienten abzuleiten.

Allerdings können medizinische Notizen innerhalb und zwischen Gesundheitssystemen erheblich variieren, was bedeutet, dass Modelle, die auf diesen Daten trainiert wurden, möglicherweise eine schlechte Leistung erbringen, wenn sie mit der Analyse klinischer Notizen aus anderen Quellen beauftragt werden. Dieses Phänomen ist als „Datensatzverschiebung“ bekannt und kann Sicherheitsbedenken beim Einsatz von KI im Gesundheitswesen hervorrufen.

MEHR LESEN: Forscher validieren NLP-Tool zur Extraktion von SDOH aus klinischen Notizen

Um diese Herausforderungen anzugehen, entwickelten die Forscher eine Datenerweiterungstechnik, die die Generalisierbarkeit des Modells verbessern soll.

Das Forschungsteam betonte, dass Unterschiede im Schreibstil von Ärzten dazu führen können, dass KI-Modelle fälschlicherweise Zusammenhänge zwischen Faktoren wie Grammatik oder Wortwahl und der Diagnose oder dem Gesundheitszustand eines Patienten ableiten. Das Gleiche kann mit den Vorlagen – einschließlich Tabellen und Überschriften – passieren, die Ärzte häufig in ihren Notizen verwenden.

Während diese stilbezogenen Faktoren für die von der KI durchgeführte Analyse irrelevant sind, werden dieselben Vorlagen häufig von Ärzten verwendet, die bestimmte Untergruppen von Patienten behandeln. Das KI-Tool erkennt dann, dass diese Vorlage und bestimmte Diagnosen regelmäßig zusammen auftreten, was dazu führt, dass das Modell möglicherweise aus falschen Korrelationen und nicht aus echten Assoziationen in den Daten lernt.

Um dem entgegenzuwirken, schlagen die Forscher den Einsatz von Datenerweiterung vor, um zu verhindern, dass die Tools aus falschen Korrelationen lernen.

„Wir haben herausgefunden, dass wir die Robustheit dieser Textmodelle in verschiedenen Umgebungen erheblich verbessern können, indem wir sie weniger empfindlich gegenüber Änderungen der Schreibgewohnheiten und -stile machen, die zwischen verschiedenen Betreuern beobachtet werden“, sagte Yoav Wald, PhD, Postdoktorand an der Whiting School der Johns Hopkins of Engineering, der an dem Projekt gearbeitet hat, in einer Pressemitteilung.

MEHR LESEN: Verwendung eines Tools für patientenberichtete Ergebnisse, um EHR-Daten umsetzbar zu machen

Die Technik ermöglicht es Forschern, die Modelle weniger empfindlich gegenüber diesen Faktoren zu machen, indem ihnen dieselbe medizinische Notiz in mehreren verschiedenen Stilen zugeführt wird. Dadurch kann die KI aus dem Inhalt der Notizen lernen und nicht aus dem Stil oder den verwendeten Vorlagen.

Aber anstatt die Ärzte dazu zu bewegen, ihre Notizen gegenseitig umzuschreiben, um dies zu erreichen – was eine übermäßige Belastung für die ohnehin schon vielbeschäftigten Pflegeteams darstellen würde – wandte sich das Forschungsteam großen Sprachmodellen (LLMs) zu.

„Angesichts einer bestimmten Notiz, die wir im Stil einer Pflegekraft – sagen wir Dr. Beth – umschreiben möchten, fragen wir stattdessen einen LLM: ‚Wie würde diese Notiz aussehen, wenn Dr. Beth sie geschrieben hätte?‘“, erklärte Wald.

Dieser Ansatz hilft bei der Generierung kontrafaktischer Daten, die verwendet werden können, um zu bestimmen, was ein Modell basierend auf einer Änderung seiner Eingabe vorhersagen würde. Diese Informationen können dazu beitragen, falsche Korrelationen in realen Daten zu negieren, und die Anwendung kontrafaktischer Daten hat das Potenzial, die Wahrscheinlichkeit zu verringern, dass ein KI-Modell ungenaue Vorhersagen trifft.

Durch die Verwendung von Hilfsdaten aus klinischen Notizen – wie Patientendaten, Zeitstempeln und Dokumenttypen – können qualitativ hochwertige Annäherungen an diese kontrafaktischen Daten generiert werden.

MEHR LESEN: Künstliche Intelligenz unterstützt die EHR-Datenorganisation

Die Forscher zeigten, dass diese Technik die Verwendung von LLMs auf gesundheitsbezogene Weise fördert und die Generalisierbarkeit von KI-Modellen für die Analyse medizinischer Notizen verbessert.

Diese Arbeit ist Teil einer größeren Anstrengung zur Entwicklung eines KI-Sicherheitsrahmens für Anwendungen im Gesundheitswesen.

„Da wir KI zunehmend in realen Anwendungen einsetzen und ihre Stärken und Schwächen kennenlernen, ist es wichtig, Tools zu entwickeln, die die Robustheit und Sicherheit von KI-Modellen verbessern“, erklärte Suchi Saria, PhD, außerordentlicher Professor bei John C. Malone der Informatik an der Whiting School of Engineering. „Dies war in den letzten fünf Jahren einer unserer Hauptschwerpunkte und diese neue Arbeit macht einen wichtigen Schritt in diese Richtung. Die hier entwickelten Methoden sind direkt auf viele wichtige Textklassifizierungsaufgaben anwendbar.“

„Insgesamt glauben wir, dass kausal motivierte Datenerweiterungsmethoden wie unsere dazu beitragen können, Herausforderungen bei der Entwicklung robuster und zuverlässiger ML-Systeme zu bewältigen, insbesondere bei sicherheitskritischen Anwendungen“, bemerkte Wald.

Der Einsatz von KI bei der Analyse medizinischer Notizen kann eine Schlüsselrolle im Verbesserungsprozess der klinischen Dokumentation spielen.

Gesundheitssysteme greifen zunehmend auf EHR-Dokumentationsassistenten zurück, um die Dokumentation zu optimieren und das Burnout bei Ärzten zu reduzieren. Diese Tools, häufig schreib- oder sprachbasierte Technologien, können dazu beitragen, den Zeitaufwand für die Dokumentation zu reduzieren, ohne dass die Qualität der Notizen darunter leidet.

Die Analyse medizinischer Notizen bietet eine potenzielle Möglichkeit, die Informationen in der klinischen Dokumentation noch nützlicher zu machen, indem potenzielle Zusammenhänge in den Daten sichtbar gemacht werden, die als Grundlage für prädiktive Analysen oder als Leitfaden für die klinische Entscheidungsfindung dienen könnten.