2020 Fiscal Year Annual Research Report
部分記号接地に基づくマルチモーダル対話基盤創成
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
20H05565
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
長井 隆行 大阪大学, 基礎工学研究科, 教授 (40303010)
|
|---|
| Project Period (FY) |
2020-04-01 – 2022-03-31
|
| Keywords | 部分記号接地 / 対話ロボット / マルチモーダル / 内受容 |
|---|
| Outline of Annual Research Achievements |
本研究では，記号接地と記号非接地を融合させた意味理解モデル（部分記号接地モデル）に基づくマルチモーダル対話基盤の構築を目指している．この基盤技術により，すべてを経験せずに言葉の意味を理解し，人と対話できるロボットの実現の道が開けると考えている．これに対して本年度は，以下の3つの研究を進めた．
(a)既存の統合認知モデルの深層学習化： 我々のグループは，統合認知モデルを構築し，実ロボットにより実装・評価している．ただし現在は，階層ベイズモデルに基づいており，推論時のサンプリングに時間がかかるという問題があった．この問題を解決するためにまず，統合認知モデルを自然言語処理の分野で高い性能を示しているTransformerをマルチモーダルに拡張することで置き換えることを検討した．結果として，マルチモーダルTransformerによって，統合認知モデルが実現できることを示した．
(b)内受容を入力とした感情のモデル化： 上記のモデルでは，感情の主観的な概念を形成することはできない．これは，人の感情の基盤となっている内受容が入力されていないためである．そこで，ロボットの内受容を上記モデルに入力することで感情の概念を生成し，感情に関する語彙と感情概念を結び付けることを検討した．実際に外受容と内受容を統合し感情を表現できる可能性を示した．
(c)部分記号接地モデルの構築： 部分記号接地モデルの考え方は，統合認知モデルと，言語モデルを統合することにある．(a)のモデルと大規模言語モデルであるBERTを統合することでマルチモーダルな識別タスクをより高精度に解くことが可能であることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の計画を予定通りに実行した．結果としても，マルチモーダルセンチメントアナリシスのタスクで現在のSOTAを達成するなど，本研究のスコープよりも広い範囲で成果を出すことができた．また，次年度検討予定の内容も先んじて検討を始めることができており，研究は順調に進展していると言える．
|
| Strategy for Future Research Activity |
本研究は順調に進捗しており，次年度も計画通り進める．また，早めに進捗している部分については，計画を前倒して研究を進める．SOTA達成に関しては，いち早く論文化し公開することが重要であるため，次年度は成果の公開にも重点を置きつつ研究を進めていく予定である．
|
Research Products
(2 results)
