Erhalten Sie kostenlose Neurotechnologie-Updates
Wir senden Ihnen eine myFT Daily Digest E-Mail mit den neuesten Informationen Neurotechnologie Neuigkeiten jeden Morgen.
„Alles in allem war es nur ein Ziegelstein in der Wand“ – der Refrain von Pink Floyds klassischem Lied erklang aus Lautsprechern in einem neurowissenschaftlichen Labor an der University of California in Berkeley. Die Rhythmen und Worte klangen matschig, aber erkennbar.
Der Titel war keine Aufnahme der Rockband, sondern wurde mithilfe von Techniken der künstlichen Intelligenz aus den Gehirnwellen der Zuhörer generiert, im weltweit ersten wissenschaftlichen Experiment zur Rekonstruktion eines erkennbaren Liedes aus neuronalen Signalen.
Die Ergebnisse werden von unschätzbarem Wert sein, sowohl für Wissenschaftler, die verstehen wollen, wie das Gehirn auf Musik reagiert, als auch für Neurotechnologen, die Menschen mit schweren neurologischen Schäden helfen wollen, über Gehirn-Computer-Schnittstellen auf eine Weise zu kommunizieren, die natürlicher klingt, egal ob sie sprechen oder singen .
„Musik hat Prosodie [patterns of rhythm and sound] und emotionaler Inhalt“, sagte Robert Knight, Professor für Psychologie und Neurowissenschaften an der UC Berkeley, der die Forschung leitete und dessen Ergebnisse am Dienstag in der Zeitschrift PLOS Biology veröffentlicht wurden.
„Während der gesamte Bereich der Gehirn-Maschine-Schnittstellen voranschreitet, bietet dies eine Möglichkeit, künftigen Gehirnimplantaten für Menschen, die Sprach- oder Stimmausgaben benötigen, menschlichen Ton und Rhythmus hinzuzufügen.“ . . Daran haben wir wirklich begonnen, den Code zu knacken“, fügte Knight hinzu.
Die in der Forschung verwendeten Elektroenzephalographie (EEG)-Aufzeichnungen wurden etwa im Jahr 2012 erstellt, zu einer Zeit, als Menschen mit schwerer Epilepsie häufig große Elektrodenanordnungen – typischerweise jeweils 92 – über ihrer Gehirnoberfläche angebracht hatten, um den Ort hartnäckiger Anfälle zu lokalisieren.
Die Patienten meldeten sich freiwillig, um gleichzeitig die wissenschaftliche Forschung zu unterstützen, indem sie den Forschern ermöglichten, ihre Gehirnströme aufzuzeichnen, während sie Sprache und Musik hörten.
Frühere Studien, die auf diesen Experimenten basierten, lieferten Wissenschaftlern genügend Daten, um einzelne Wörter, die Menschen hörten, aus Aufzeichnungen ihrer Gehirnaktivität zu rekonstruieren. Aber erst jetzt, ein Jahrzehnt später, ist die KI leistungsfähig genug, um Liedpassagen zu rekonstruieren.
Die Berkeley-Forscher analysierten Aufnahmen von 29 Patienten, die Pink Floyds „Another Brick in the Wall (Teil 1)“ hörten, Teil einer Trilogie mit Liedern aus dem Album von 1979 Die Mauer. Sie lokalisierten Bereiche des Gehirns, die an der Rhythmuserkennung beteiligt sind, und stellten fest, dass einige Teile des auditorischen Kortex, die sich direkt hinter und über dem Ohr befinden, auf das Einsetzen einer Stimme oder eines Synthesizers reagierten, während andere auf anhaltenden Gesang reagierten.
Röntgenaufnahmen von Patienten, die an der Forschung teilnahmen, mit Elektroden an ihren Schädeln © Peter Brunner
Die Ergebnisse stützten langjährige Vorstellungen über die Rolle der beiden Gehirnhälften. Obwohl sie eng zusammenarbeiten, wird Sprache überwiegend auf der linken Seite verarbeitet, während „Musik eher verteilt ist, mit einer Tendenz zu [the] richtig“, sagte Knight.
Sein Kollege Ludovic Bellier, der die Analyse leitete, sagte, dass Geräte, die Menschen bei der Kommunikation helfen, wenn sie nicht sprechen können, dazu neigen, Wörter nacheinander auszusprechen. Die von der Maschine gesprochenen Sätze haben eine Roboterqualität, die an die Art und Weise erinnert, wie der verstorbene Stephen Hawking auf einem Spracherzeugungsgerät klang.
„Wir wollen der Vokalisierung mehr Farbe und Ausdrucksfreiheit verleihen, auch wenn die Leute nicht singen“, sagte Bellier.
Audiodatei von „Another Brick in the Wall (Teil 1)“, neu erstellt aus neuronalen Signalen mit verbesserter KI © Ludovic Bellier
Audiodatei von „Another Brick in the Wall (Teil 1)“, neu erstellt aus neuronalen Signalen mit verbesserter KI © Ludovic Bellier
Die Berkeley-Forscher sagten, die Gehirnlesetechnologie könne so weit ausgeweitet werden, dass musikalische Gedanken von jemandem entschlüsselt werden könnten, der eine EEG-Haube auf der Kopfhaut trägt, anstatt Elektroden unter dem Schädel am Gehirn zu benötigen. Dann könnte es möglich sein, sich Musik vorzustellen oder zu komponieren, die musikalischen Informationen weiterzugeben und sie über externe Lautsprecher abgespielt zu hören.
„Nicht-invasive Techniken sind heute einfach nicht genau genug“, sagte Bellier. „Hoffen wir, dass wir in Zukunft einfach mit außen am Schädel angebrachten Elektroden Aktivitäten aus tieferen Regionen des Gehirns mit einer guten Signalqualität ablesen können.“
