Wissenschaftler rekonstruieren das Lied von Pink Floyd anhand der Aktivität des menschlichen Gehirns

Einem Team von Wissenschaftlern ist es kürzlich gelungen, mithilfe prädiktiver Modellierung einen Song von Pink Floyd aus Live-Aufzeichnungen menschlicher Nervenzellen zu rekonstruieren. Diese bahnbrechende Leistung zeigt das Potenzial prädiktiver Modellierungstechniken, komplexe Gehirnaktivitäten zu entschlüsseln und in aussagekräftige Informationen zu übersetzen. Ihre Ergebnisse, veröffentlicht in Ein PlusEs liefert auch wertvolle Einblicke in die Art und Weise, wie das menschliche Gehirn Musik verarbeitet.

Für Personen mit Erkrankungen wie amyotropher Lateralsklerose, Schlaganfall oder Lähmungen kann die Kommunikation schwierig sein. Aktuelle Gehirn-Maschine-Schnittstellen erzeugen häufig automatisierte Sprache. Die Forscher wollten untersuchen, ob musikbezogene Gehirnaktivität genutzt werden kann, um die Natürlichkeit und Ausdruckskraft der durch Gehirn-Computer-Schnittstellen erzeugten Sprache zu verbessern und Menschen mit Kommunikationsschwierigkeiten zu helfen.

„Musik ist ein wesentlicher Teil der menschlichen Erfahrung, daher ist es von grundlegender Bedeutung zu verstehen, wie unser Gehirn die Musikwahrnehmung unterstützt“, erklärte Studienautor Ludovic Bellier, ein leitender Computerforschungswissenschaftler bei Inscopix. „Auf der angewandten Seite wurden diese Daten im Rahmen einer umfassenden Anstrengung zur Entwicklung von Brain-Computer-Sprachdekodierungsschnittstellen (BCI) gesammelt, mit der Idee, dass wir durch das Verständnis des neuronalen Codes für die Verarbeitung von Musik dann prosodische Elemente (Melodie und …) einbeziehen können Sprachrhythmus) Nehmen Sie die Sprache aus diesen BCIs heraus und lassen Sie sie weniger roboterhaft und natürlicher klingen, mit Intonation und Emotionen.

An der Studie nahmen 29 Patienten mit medikamentenresistenter Epilepsie teil, denen aus medizinischen Gründen Elektroenzephalographie-Elektroden (iEEG) ins Gehirn implantiert wurden. Mit diesen Elektroden wurde die elektrische Aktivität der Gehirnzellen der Patienten direkt aufgezeichnet.

Diese Patienten hörten Pink Floyds Lied „Another Brick in the Wall, Teil 1“. Während sie Musik hörten, zeichneten iEEG-Elektroden die neuronale Aktivität in ihrem Gehirn in Echtzeit auf. Die Forscher verwendeten Vorhersagemodelle, um anhand von Mustern neuronaler Aktivität, die von Elektroden aufgezeichnet wurden, abzuschätzen, wie ein Pink-Floyd-Song klingen würde. Bei diesem Ansatz geht es darum, mathematische Modelle zu erstellen, die eine Sache auf der Grundlage einer anderen vorhersagen oder schätzen können.

Vorhersagemodelle wurden trainiert, um bestimmte Muster neuronaler Aktivität mit den entsprechenden Teilen des Liedes zu verknüpfen. Im Wesentlichen lernten die Modelle den Zusammenhang zwischen Gehirnaktivität und Musik. Sobald die Modelle trainiert waren, wurden sie auf die aufgezeichneten neuronalen Daten angewendet, um Vorhersagen darüber zu generieren, wie die Musik klingen sollte.

Mithilfe dieser Vorhersagemodelle konnten die Forscher den Song von Pink Floyd anhand neuronaler Aufzeichnungen rekonstruieren. Mit anderen Worten: Sie übersetzten elektrische Signale aus den Gehirnen der Patienten in hörbare Musik, die dem Originallied sehr ähnelte.

„Wir können ein erkennbares Lied aus der neuronalen Aktivität rekonstruieren, die beim Anhören des Liedes entsteht“, sagte Bellaire gegenüber PsyPost. „Es zeigt die Machbarkeit der Dekodierung von Musik mit relativ wenigen Daten (3 Minuten, Dutzende Elektroden) und ebnet den Weg für die Einbettung von Tönen in Sprachdecoder. Wir quantifizieren außerdem die neuronale Dynamik der Musikwahrnehmung weiter und zeigen eine duale Verarbeitung durch Dominanz der rechten Hemisphäre, und Demonstration der Existenz eines neuen kortikalen Unterbereichs, der auf musikalischen Rhythmus abgestimmt ist.

Es wurde festgestellt, dass die Musikwahrnehmung von beiden Gehirnhälften abhängt, wobei jedoch die rechte Hemisphäre bevorzugt wird. Die rechte Hemisphäre wies einen höheren Anteil an Elektroden mit großer Wirkung, höherer Vorhersagegenauigkeit und größerem Einfluss auf die Dekodierungsmodelle auf, wenn die Elektroden abgetragen wurden. Dies bestätigte frühere Untersuchungen, die darauf hindeuteten, dass es einen echten relativen Aspekt bei der Musikwahrnehmung gibt.

Forscher haben den oberen Temporalgyrus (STG) als die primäre Gehirnregion identifiziert, die an der Musikwahrnehmung beteiligt ist. Mithilfe der Daten eines Patienten, bei dem sich 61 Elektroden speziell in diesem Bereich befanden, konnten sie erfolgreich ein erkennbares Lied rekonstruieren.

Darüber hinaus klassifizierten die Forscher die Elektroden anhand ihrer funktionellen Eigenschaften in verschiedene Kategorien. Kontinuierliche Elektroden zeichnen wahrscheinlich neuronale Signale auf, die mit den anhaltenden oder längeren Aspekten der Musik zusammenhängen, während rechte Rhythmuselektroden mit rhythmischen Aspekten der Musik verbunden sind und möglicherweise Timing- und rhythmusbezogene Informationen erfassen.

Die selektive Entfernung von 167 Dauerelektroden aus dem Dekodierungsmodell hatte keinen wesentlichen Einfluss auf die Genauigkeit der Liedrekonstruktion. Andererseits hatte das Entfernen der 43 korrekten Rhythmuspole einen deutlich negativen Einfluss auf die Genauigkeit der Liedrekonstruktion. Dies deutet darauf hin, dass neuronale Signale, die mit den rhythmischen Aspekten der Musik verbunden sind und von diesen Elektroden erfasst werden, eine entscheidende Rolle bei der genauen Rekonstruktion des Liedes spielten.

„Wir waren überrascht von der Tatsache, dass das Entfernen aller 167 ‚erhaltenen‘ Elektroden aus den Dekodierungsmodellen keinen Einfluss auf die Dekodierungsgenauigkeit hatte (während nur 43 ‚richtige‘ rhythmische Elektroden entfernt wurden)“, erklärte Belier. „Es zeigt wirklich, dass die Anzahl der Elektroden Es ist nicht an sich, was die Leistung des Modells bestimmt, sondern vielmehr die akustischen Informationen, die in der aufgezeichneten neuronalen Aktivität dargestellt werden, sowie die Position dieser Elektroden; Qualität vor Quantität sozusagen.

Die Forschung kann zur Entwicklung fortschrittlicher Gehirn-Maschine-Schnittstellen beitragen, die es Einzelpersonen ermöglichen, effektiver zu kommunizieren, indem sie musikalische Elemente in die Sprachausgabe integrieren.

„Es ist ein tolles Ergebnis.“ Er sagte Robert Knight, Professor für Psychologie an der UC Berkeley am Helen Wills Neuroscience Institute und Mitautor der Studie. „Eines der Dinge an Musik ist für mich, dass sie einen poetischen und emotionalen Inhalt hat. Und da das gesamte Feld der Gehirn-Maschine-Schnittstellen voranschreitet, gibt es eine Möglichkeit, Musik zu zukünftigen Gehirnimplantaten für Menschen hinzuzufügen, die sie brauchen, oder für jemanden.“ mit ALS oder einer anderen behindernden neurologischen oder Entwicklungsstörung, die die Sprachproduktion beeinträchtigt.

„Es gibt einem die Möglichkeit, nicht nur den sprachlichen Inhalt zu entschlüsseln, sondern auch einen Teil des prosodischen Inhalts der Sprache, einen Teil des Affekts. Ich denke, das ist es, was wir wirklich zu entschlüsseln beginnen.“

Zu den Vorbehalten der Studie sagte Belair: „Im Nachhinein hätten wir gerne Informationen darüber gesammelt, wie gut Patienten ein Lied von Pink Floyd kannten und, was noch wichtiger ist, welchen musikalischen Hintergrund sie hatten. Mit diesen Informationen hätten wir interessante Fragen beantworten können, wie z B. ob neuronale Aktivität für Musiker zu einer höheren Genauigkeit bei der Dekodierung bei der Rekonstruktion des Liedes führt.

„Wir möchten den Patienten, die freiwillig an unserer Studie teilgenommen haben, unseren Dank aussprechen, insbesondere da sie sich einem schwierigen neurochirurgischen Eingriff unterzogen“, fügte Belair hinzu. „Ohne sie wäre diese Forschung nicht möglich gewesen, und es kommt nicht jeden Tag vor, dass sie etwas über die Forschung hören, an der sie beteiligt waren, daher wäre das eine nette Geste.“

die Studie, „Mithilfe nichtlinearer Dekodierungsmodelle kann Musik aus der Aktivität des menschlichen auditorischen Kortex rekonstruiert werdengeschrieben von Ludovic Pellet, Anais Laurens, Deborah Marciano, Aysegul Gunduz, Jeroen Schalk, Peter Brunner und Robert T. Knight.