Durch Sprache können Menschen einander ihre Gedanken mitteilen, da das Gehirn jedes Menschen auf die Bedeutung von Wörtern ähnlich reagiert. In einer neuen Studie haben mein Team und ich ein Modell entwickelt, um die Gehirnaktivität von Sprechern während eines persönlichen Gesprächs zu modellieren.
Wir haben die elektrische Aktivität der Gehirne von zwei Personen aufgezeichnet, während sie sich in einer ungeschriebenen Konversation unterhielten. Frühere Studien haben gezeigt, dass sich die Gehirnaktivität zweier sich unterhaltender Personen koppelt oder anpasst und dass der Grad der neuronalen Kopplung mit einem besseren Verständnis der Botschaft des Sprechers verbunden ist.
Ein neuronaler Code bezieht sich auf bestimmte Muster der Gehirnaktivität, die mit bestimmten Wörtern in ihrem Kontext verbunden sind. Wir haben festgestellt, dass die Gehirne von Sprechern auf einen gemeinsamen neuronalen Code ausgerichtet sind. Wichtig ist, dass der neuronale Code des Gehirns dem künstlichen neuronalen Code der großen Sprachmodelle (LLMs) ähnelt.
Neuronale Muster von Wörtern
Ein großes Sprachmodell (Large Language Model, LLM) ist ein maschinelles Lernprogramm, das Text erzeugen kann, indem es vorhersagt, welche Wörter am wahrscheinlichsten aufeinander folgen. Large Language Models sind sehr gut darin, die Struktur von Sprache zu erlernen, menschenähnliche Texte zu erzeugen und Gespräche zu führen. Sie sind sogar in der Lage, den Turing-Test zu bestehen, so dass es für jemanden schwierig ist zu erkennen, ob er mit einer Maschine oder einem Menschen interagiert. Wie Menschen lernen LLMs sprechen, indem sie Texte lesen oder hören, die von anderen Menschen produziert wurden.
Indem wir dem LLM eine Abschrift des Gesprächs gaben, konnten wir seine neuronalen Aktivierungen extrahieren, d.h. wie er Wörter in Zahlen übersetzt, während er das Skript „liest“. Anschließend korrelierten wir die Gehirnaktivität des Sprechers mit den Aktivierungen des LLM und den Gehirnaktivitäten der Zuhörer. Wir fanden heraus, dass die Aktivierungen des LLM die gemeinsame Gehirnaktivität von Sprecher und Zuhörer vorhersagen können.
Um einander zu verstehen, haben Menschen eine gemeinsame Vereinbarung über grammatikalische Regeln und die Bedeutung von Wörtern in einem bestimmten Kontext. Wir wissen zum Beispiel, dass wir die Vergangenheitsform eines Verbs verwenden müssen, um über vergangene Handlungen zu sprechen, wie in dem Satz „Er ging gestern ins Museum“. Darüber hinaus verstehen wir intuitiv, dass ein und dasselbe Wort in verschiedenen Situationen unterschiedliche Bedeutungen haben kann. Zum Beispiel kann sich das Wort „kalt“ in dem Satz „Du bist kalt wie Eis“ je nach Kontext entweder auf die Körpertemperatur oder auf eine Charaktereigenschaft beziehen. Aufgrund der Komplexität und Reichhaltigkeit der natürlichen Sprache fehlte uns bis zum Erfolg der großen Sprachmodelle in jüngster Zeit ein präzises mathematisches Modell zu ihrer Beschreibung.
Unsere Studie hat gezeigt, dass große Sprachmodelle vorhersagen können, wie sprachliche Informationen im menschlichen Gehirn kodiert werden, und bietet damit ein neues Werkzeug zur Interpretation der menschlichen Gehirnaktivität. Die Ähnlichkeit zwischen dem Sprachcode des menschlichen Gehirns und dem großen Sprachmodell hat es uns zum ersten Mal ermöglicht, zu verfolgen, wie Informationen im Gehirn des Sprechers zu Wörtern kodiert und Wort für Wort an das Gehirn des Zuhörers weitergeleitet werden, während sie sich von Angesicht zu Angesicht unterhalten. Wir haben zum Beispiel festgestellt, dass die Gehirnaktivität, die mit der Bedeutung eines Wortes verbunden ist, im Gehirn des Sprechers auftritt, bevor er das Wort ausspricht, und dass die gleiche Aktivität im Gehirn des Zuhörers schnell wieder auftritt, nachdem er das Wort gehört hat.
Leistungsstarkes neues Werkzeug
Unsere Studie hat Einblicke in den neuronalen Code der Sprachverarbeitung im menschlichen Gehirn gegeben und gezeigt, wie sowohl Menschen als auch Maschinen diesen Code nutzen können, um zu kommunizieren. Wir haben herausgefunden, dass große Sprachmodelle besser in der Lage sind, die gemeinsame Gehirnaktivität vorherzusagen, als verschiedene Merkmale der Sprache, wie die Syntax oder die Reihenfolge, in der Wörter zu Phrasen und Sätzen verbunden werden. Dies ist zum Teil auf die Fähigkeit des LLM zurückzuführen, die kontextabhängige Bedeutung von Wörtern zu berücksichtigen und mehrere Ebenen der Sprachhierarchie in ein Modell zu integrieren: von Wörtern über Sätze bis hin zur konzeptuellen Bedeutung. Dies weist auf wichtige Ähnlichkeiten zwischen dem Gehirn und künstlichen neuronalen Netzen hin.
Ein wichtiger Aspekt unserer Forschung ist die Verwendung alltäglicher Aufzeichnungen natürlicher Gespräche, um sicherzustellen, dass unsere Ergebnisse die Verarbeitung im Gehirn in der realen Welt widerspiegeln. Dies wird als ökologische Validität bezeichnet. Im Gegensatz zu Experimenten, bei denen den Teilnehmern gesagt wird, was sie sagen sollen, geben wir die Kontrolle über die Studie ab und lassen die Teilnehmer so natürlich wie möglich sprechen. Dieser Kontrollverlust erschwert die Analyse der Daten, da jedes Gespräch einzigartig ist und zwei Personen miteinander interagieren und spontan sprechen. Unsere Fähigkeit, die neuronale Aktivität zu modellieren, während Menschen alltägliche Gespräche führen, zeigt die Leistungsfähigkeit großer Sprachmodelle.
Andere Dimensionen
Nachdem wir nun einen Rahmen entwickelt haben, um den gemeinsamen neuronalen Code zwischen Gehirnen während alltäglicher Gespräche zu bewerten, interessieren wir uns für die Faktoren, die diese Kopplung fördern oder hemmen. Nimmt zum Beispiel die sprachliche Kopplung zu, wenn ein Zuhörer die Intention des Sprechers besser versteht? Oder kann komplexe Sprache, wie z.B. Fachjargon, die neuronale Kopplung verringern?
Ein weiterer Faktor, der die sprachliche Kopplung beeinflussen kann, ist die Beziehung zwischen den Sprechern. Beispielsweise kann man einem guten Freund mit wenigen Worten viele Informationen vermitteln, einem Fremden jedoch nicht. Oder man kann sich mit politischen Verbündeten besser verständigen als mit Rivalen. Der Grund dafür ist, dass Unterschiede in der Art und Weise, wie wir Wörter in verschiedenen Gruppen verwenden, es uns leichter machen, mit Menschen innerhalb unserer sozialen Gruppen zu kommunizieren und zu koppeln als mit Menschen außerhalb dieser Gruppen.