Die Society of Interventional Radiology übertrifft ChatGPT bei der Patientenaufklärung – doch der Wettbewerb offenbart Mängel auf beiden Seiten

Insgesamt analysierten die Forscher mehr als 21.000 Wörter. Darunter waren fast 8.000 von der Website und mehr als 13.000 von ChatGPT generierte (über 22 Textpassagen).

Vier von fünf Lesbarkeitsskalen bewerteten ChatGPT als schwerer lesbar als SIRweb.org, und PEMAT bewertete ersteres schlechter als letzteres.

In ihrer Diskussion weisen McCarthy und Co-Autoren darauf hin, dass die medizinische Fachwelt „anerkennen sollte, dass ihre erste Anlaufstelle möglicherweise nicht eine gesellschaftliche Website oder andere Quellen der Grundwahrheit ist“, da sich Patienten und ihre Betreuer weiterhin an digitale Angebote für Gesundheitsinformationen wenden. Wie in dieser Studie gezeigt wurde, können solche Quellen selbst von Verbesserungen profitieren, insbesondere um sicherzustellen, dass der Inhalt für die Mehrheit der Leser verständlich ist und ein gleichberechtigter Zugang zu Gesundheitsinformationen gewährleistet ist.“

Die Autoren weisen darauf hin, dass bald weitere Tests zum Nutzen generativer KI für die Patientenaufklärung folgen werden.

Das ist eine gute Sache, wenn man bedenkt, wie schnell sich die großsprachige KI seit der Einführung von ChatGPT im letzten Herbst weiterentwickelt und die Fantasie der Öffentlichkeit erregt hat.

„Wir schlagen vor, dass die Verwendung bestehender, validierter Instrumente wie der hier beschriebenen als Rahmen für zukünftige Forschungen auf diesem Gebiet dienen könnte“, schreiben McCarthy und Co-Autoren.

Mehr:

Derzeit deuten die Frühindikatoren darauf hin, dass diese Technologie sowohl für Ärzte als auch für Patienten potenzielle Anwendungsfälle haben könnte. Aktuelle Versionen von [ChatGPT] kann zu unvollständigen oder ungenauen Inhalten zur Patientenaufklärung führen, und daher bestehen möglicherweise Möglichkeiten, maßgeschneiderte Chatbots für die Patientenaufklärung zu entwickeln, die auf der Feinabstimmung vorhandener großer Sprachmodelle basieren.“

Zusammenfassung hier, Volltext hinter Paywall.