記号接地問題

言葉がどうやって現実の意味と結びつくのか、という研究課題は記号接地問題と呼ばれている。哲学・認知科学で提起され、記号と現実の結びつきをめぐってロボット研究でも重要な課題として発展してきた問題。

Nature Science Reportに載っていた、人間の脳の言語処理とLLMを比較し、意味理解に身体性が関与していることを神経科学的に示した以下の研究が面白かった。

Prediction, syntax and semantic grounding in the brain and large language models - Scientific Reports

 www.nature.com

• 健常者29人にドイツ語オーディオブックを聞いてもらい、EEG（脳波）とMEG（脳磁界）を計測
• 単語出現前からLLMの活性化に似た脳活動が観測されることから、人間は予測的に言語を処理していると言える
• 名詞と動詞で明確に差があり、文法構造が脳内で分離されている
• 名刺は広範な能力域を活性化している。特に感覚系や運動系まで広がっていることから、物体や経験と結びついた処理が行われていると言える

LLMが言語を真に理解しているのか？という問いに対して、予測性という部分では人間の脳の処理と非常に近いが、身体性や感覚経験との結びつきという部分では、LLMは原理的に欠いている、という知見。記号接地問題は古くから研究されているいちトピックだが、神経科学の見地からより明確に示された、と言える。

記号接地問題とはズレるけど、身体化認知（Embodied Cognition）¹や身体化学習（Embodied Learning）²と呼ばれる研究トピックがある。詳細は脚注に譲るとして、暗記するときただ読むだけじゃなく体を動かしながら読むと記憶に定着しやすい、という受験でよく言われるテクニックは、こうした分野で部分的に裏付けられている。

今バズっているフィジカルAIじゃないけど、もし生成AIが自発的に動かせる体を得て、身体性を持った言語理解ができるようになった時、それはもう人間が定義する「言語理解」とは異なる何かであるような気がする。データ資源の少ない項目を理解するために、生成AIが身体を動かしながら重みに取り込んでいたら、それはそれで面白い。