| 研究課題/領域番号 |
21K15611
|
|---|
| 研究機関 | 沖縄科学技術大学院大学 |
|---|
研究代表者 |
芳賀 達也 沖縄科学技術大学院大学, 神経情報・脳計算ユニット, スタッフサイエンティスト (10744873)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 海馬 / 嗅内皮質 / 空間学習 / 言語 |
|---|
| 研究実績の概要 |
自然言語処理の入り口となる各単語の表現ベクトル生成のための神経モデルとして、計算論的神経科学において海馬・嗅内皮質のモデルとして知られているSuccessor representationを基にしたDisentangled successor information (DSI)というモデルを新たに開発した。開発したモデルにより生成した単語の表現ベクトルの性能を機械学習で用いられる手法により評価し、既存手法と同等のパフォーマンスが得られることを確認した。またそれ以外にも、物理的な空間（二次元平面の構造）に対する表現ベクトルを学習させた場合に空間内でのナビゲーションに利用できること、特殊な条件における強化学習との数学的関係性があること、モデルが作り出す表現が海馬・嗅内皮質の空間表現・意味表現に関する実験事実によく合致することなど、モデルが単語表現学習にとどまらない様々な特性を持つことを発見した。この結果から、物理的な空間と概念的な空間の表現学習を同じ数学的枠組みで行うことができること、もともと空間学習を司る脳部位とされてきた海馬・嗅内皮質が概念学習や言語処理にも寄与している可能性があることが示された。また、本研究は当初想定していた言語処理の神経メカニズムのモデル化という枠にとどまらず、より一般的な脳機能にかかわる理論につながりうることが示唆された。
また、研究計画の基盤となるアトラクターネットワークのモデリングに関する成果発表（原著論文1報および総説論文１報）を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
本研究ではもともとホップフィールド型アトラクターネットワークモデルの拡張によって単語埋め込みを行うという計画を立てていた。しかし、研究を進めた結果、別のアプローチを用いてよりパフォーマンスが良く神経科学的知見にもよく合致する新たなモデルを構築できることが判明したため、作業仮説および研究計画を修正して新たなモデルに関する研究を主軸として進めることとした。開発したモデルに関しては基礎的な性能評価を済ませ現在論文発表に向けた作業を進めている段階である。新たなモデルはもともと想定していた以上の機能・実験事実との対応を示しているため、当初の計画以上の成果が得られていると考えている。
|
| 今後の研究の推進方策 |
今後は、単語埋め込みの新たなモデルに関する成果発表を済ませ次第、自己注意に相当する神経ダイナミクスのモデル化を行い、それらを組み合わせた言語モデルの構築を進めていく予定である。単語埋め込みに関しては異なるアプローチへと軌道修正を行ったが、自己注意の部分に関しては現在のところ当初の計画通りアトラクターダイナミクスによってモデル化を進める予定である。また、モデル化が完了したあとの実データへの対応付けの段階に関しても計画に大きな変更はない。しかし、新たに開発した単語埋め込みモデルの解析において言語以外のトピックにおける実験事実との定量的な対応が見えてきているため、当初の計画以外のデータとの対応付けも視野に入れて進めていく予定である。
|
| 次年度使用額が生じた理由 |
コロナ渦により学会参加などの出張費用がなかったため。次年度は複数の学会参加を予定しており、また論文投稿の予定もあることから、それらの費用として用いる予定である。
|
