In den letzten 12 Jahren hat Ben Mol, MD, PhD, ein vorübergehendes Interesse an Forschungsintegrität in einen fast Vollzeitjob verwandelt. Der Gynäkologe an der Monash University in Melbourne, Australien, schätzt, dass er ungefähr 30 Stunden pro Woche damit verbringt, veröffentlichte Artikel zu sichten – insbesondere solche, die über randomisierte, kontrollierte Studien berichten – nicht nach Durchbrüchen auf seinem Gebiet, sondern nach Anzeichen manipulierter Daten, die er in Frage stellen kann diese Artikel mit Redakteuren zu teilen und das Bewusstsein in seinem Bereich zu schärfen. Er findet Probleme mit erschreckender Häufigkeit. Die Früchte seiner Bemühungen erscheinen regelmäßig auf Retraction Watch, einem Blog, der sich der Berichterstattung über Rückzüge aus der wissenschaftlichen Literatur widmet, und er hat mehrere Zeitschriftenartikel über seine Ergebnisse geschrieben. (Er schätzt, dass er bisher für mindestens 90 zurückgezogene Artikel und 60 Besorgnisäußerungen verantwortlich ist.) Mol war auch Gegenstand eines kürzlich erschienenen Artikels in Der Ökonom Über Betrug in der Medizin.
Dr. Ben Mol
Medizinische Nachrichten von Medscape sprach kürzlich mit Mol über seine Arbeit als Datendetektiv und den Stand des medizinischen Publizierens.
Medscape: Wie sind Sie auf den Bereich „Forschung in die Forschung“ gekommen? War dies ein spezifisches Problem der Reproduktionsmedizin und Geburtshilfe/Gynäkologie?
Mol: Mein Kerngeschäft besteht seit fast 30 Jahren darin, medizinisches Wissen durch randomisierte klinische Studien zu gewinnen [RCTs]. Und ich bin ziemlich leidenschaftlich dabei. Ich war ein bisschen naiv, als ich jung war. Dann dachte ich, wir machen einen Versuch und übersetzen gleich in die Praxis. Mir ist jetzt klar, dass es viele Hürden gibt, aber ich denke immer noch, dass eine informierte Welt besser ist als eine uninformierte Welt. Wenn die Menschen die Beweise kennen oder wenn die Beweise berücksichtigt werden, wenn sie klinische Entscheidungen treffen, denke ich, dass wir eine bessere Welt haben.
Vor diesem Hintergrund begann ich vor etwa 10 Jahren zum ersten Mal herauszufinden, dass es Studien gab, die sozusagen fast nicht stimmten. Bis zu diesem Moment hatten wir nur starke und schwache Studien berücksichtigt, und dann gab es das GRADE-System, das versuchte, die Stärke der Beweise abzuwägen. Aber nur wenige Leute dachten, dass die Daten, die dem zugrunde lagen, was wir lasen, nicht wahr sein würden. Und als wir uns dann darauf konzentrierten, sahen wir es in einem viel größeren Maßstab.
Wenn Sie medizinisches Wissen als einen klaren Fluss sehen, aus dem wir Menschen sauberes Wasser trinken lassen, dann sehen Sie, dass jemand anderes das Wasser nur mit allerlei Schmutz verschmutzt, dann ist das ein Problem. Es beeinflusst die Intuition Ihres gesamten Systems.
Medscape: Obwohl es von Anfang an nicht Ihre Absicht war, haben Sie bei Ihrer Arbeit als „Datendetektiv“ in einigen Regionen der Welt mehr Anlass zur Sorge gefunden als in anderen: Ägypten, Iran, Indien und China. Was sollten Leser der Gynäkologie-Literatur über diese geografischen Hotspots wissen? Sollten sie bei allen veröffentlichten Studien aus diesen Ländern besonders vorsichtig sein?
Mol: Racial Profiling ist heutzutage eine sehr heikle Sache. Ich denke viel darüber nach und diskutiere mit anderen darüber. Aber die Gesamtzahl der randomisierten klinischen Studien [in ob/gyn and reproductive medicine] kommt nur aus einer begrenzten Anzahl von Ländern. Der Grund, warum ich nicht nach Argentinien oder Chile oder den Philippinen oder der Mongolei schaue, ist, dass sie nicht so viele RCT-Teams haben. Und leider gibt es unter diesen 15 Hauptproduzenten von RCTs vier oder fünf Länder, die viele unserer Zitate produzieren. Und sie haben keine gute Führung für ihre großen Prozesse.
Einer der Gründe, warum ich das erkennen kann, ist, dass ich Geburtshelfer/Gynäkologe und Forscher bin, was mir, glaube ich, einen Vorteil gegenüber anderen Menschen verschafft, wenn es darum geht, Anomalien oder seltsame Dinge zu erkennen – Dinge wie seltsame Geburtsgewichte oder Schwangerschaftsalter, die seltsam sind. Aber ich sehe diese Anomalien nicht in der Neurologie oder Psychiatrie, daher ist es für mich schwierig, dies in anderen Bereichen zu beurteilen. Und es gibt auch ein Zeitproblem. Aber wenn ich mir zum Beispiel die Arbeit von John Carlisle in der Anästhesiologie anschaue, der völlig unabhängig von dem ist, was ich mache, sieht er genau das gleiche Phänomen.
Medscape: Sie haben geschätzt, dass Sie 30 Stunden pro Woche damit verbringen, verdächtige Artikel zu untersuchen. Das ist eine enorme Zeit. Ist es nachhaltig?
Mol: Nicht auf Dauer. Aber wir sind definitiv nicht allein, und es gibt definitiv eine andere Denkweise in unserem Bereich. Sie sehen einen enormen Produktionsrückgang in bestimmten Ländern im Vergleich zu vor 4 oder 5 Jahren. Obwohl wir die Kausalität nicht beweisen können, bin ich ein wenig zufrieden, da die Leute sich des von uns gemeldeten Problems bewusster sind.
Vorbeugen ist natürlich das Beste. Es gibt andere Leute, die andere Präventionsinitiativen haben. Es wird ein Papier im geben Britisches Journal für Geburtshelfer und Gynäkologie bald über die Integrität der Forschung. Andere Leute denken über diesen Punkt nach, und wir sehen alle Arten von Initiativen im Bewusstsein, die dieses Problem ändern können.
Medscape: Sie haben einen neuen Artikel mit John Ioannidis, MD, DSc, für geschrieben Fruchtbarkeit und Sterilität über die Erhöhung der Vertrauenswürdigkeit der medizinischen Literatur, in der Sie zu argumentieren scheinen, dass Hype ein größeres Problem in der Wissenschaft ist als Betrug. (Artikel von Ioannidis aus dem Jahr 2005 in PLOS-Medizin„Warum die meisten veröffentlichten Forschungsergebnisse falsch sind“, gehört zu den einflussreichsten wissenschaftlichen Artikeln des 21. Jahrhunderts.)
Mol: Ich denke, hier gibt es zwei Probleme. Es gibt eine unverblümte Erfindung, und dann gibt es eine positive Werbung für Ihre Arbeit, aber die zugrunde liegenden Daten sind wahr. Aber es gibt einen Kreislauf des Veröffentlichens und des guten Zitierens, der Finanzierung und der Möglichkeit, wieder zu veröffentlichen. Und dieser Kreis, denke ich, ist der Ort, an dem die meisten von uns versuchen, ihre Arbeit ein bisschen positiver aussehen zu lassen, als sie wirklich ist.
Medscape: Dieses Problem scheint zwei Seiten zu haben. Die eine ist die Angebotsseite – die Verantwortung nicht nur der Forscher, sondern auch des Verlagsapparats, die Literatur zu überwachen. Und dann ist da noch die Nachfrageseite und die Erwartungen und die angemessene Skepsis, die Leser in den Prozess des Literaturkonsums einbringen müssen. Welche Seite trägt aus Ihrer Sicht die schwerere Last?
Mol: Ich denke, dass der große Ball derzeit bei den Redakteuren und Verlegern sitzt. Wenn Sie mich vor 2 Jahren gefragt hätten, hätte ich gesagt: Nun, wenn wir diese Probleme ins Rampenlicht rücken, werden die Zeitschriften anfangen, dieses Chaos zu beseitigen. Aber sie tun es nicht. Sie verzögern. Sie untersuchen nicht und ihre Prozesse sind völlig intransparent.
Medscape: Ihre Arbeit scheint darauf hinzudeuten, dass sich die Probleme zumindest in der Reproduktionsmedizin hauptsächlich in den nachgeordneten Zeitschriften konzentrieren. Ist das eine faire Einschätzung?
Mol: Ja, ich würde sagen, dass Sie in den Zeitschriften mit geringerem Einfluss wirklich überrascht sind, was sie veröffentlichen. Und man muss sich fragen, ob die Leute wirklich in die Papiere geschaut haben. Einige der veröffentlichten Forschungsergebnisse sind einfach Unsinn. In einigen Studien sehen Sie unmögliche Zeitpläne, sodass Babys geboren werden, nachdem die Arbeit eingereicht wurde, oder die Arbeit eingereicht wurde, bevor die Studie möglicherweise abgeschlossen wurde. So etwas passiert im Allgemeinen nicht bei Zeitschriften mit höherem Einfluss. Aber das Problem bleibt, weil diese schlechten Papiere in Metaanalysen einbezogen werden, und dann, wenn Cochrane [the Cochrane Library] abholt, sieht niemand, ob tausend Patienten aus dem hochwertigen Papier oder aus dem problematischen stammen.
Adam Marcus ist Editorial Director, Primary Care, bei Medscape und Mitbegründer von Retraction Watch.
Für weitere Neuigkeiten folgen Sie Medscape auf Facebook, TwitterInstagram und YouTube.
