ロボットの統合認知アーキテクチャによる実世界に根ざした言語的思考の実現
| Project/Area Number |
19J23364
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
宮澤 和貴 大阪大学, 基礎工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥3,100,000 (Direct Cost: ¥3,100,000)
Fiscal Year 2021: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2019: ¥1,100,000 (Direct Cost: ¥1,100,000)
|
|---|
| Keywords | Transformer / 発達ロボティクス / 記号創発ロボティクス / マルチモーダル / 世界モデル / 自然言語処理 / 強化学習 / 機械学習 |
|---|
| Outline of Research at the Start |
深層学習に代表される人工知能技術の発展により，自動運転などの機械による知的活動が可能になりつつある。そのなかで、人間の日常生活を支援するパートナーロボットに対する期待も高まっているが，依然としてそのようなロボットは実現されていない．
このようなロボットには，実世界や言語を理解して思考する機能と、他者とコミュニケーションを行う機能が重要である．
そこで，本研究では経験に基づいて知能を獲得する認知モデルにおいて，高次認知機能および社会的機能を統合することで，ロボットによる実世界に根ざした言語的思考を実現することを目標とする．
|
| Outline of Annual Research Achievements |
当該年度は，課題の目標であるロボットの高次認知機能(言語的思考)の実現に向けて，Transformerを利用した深層学習モデルの構築に注力して研究をおこなった．
具体的には，複数の事前学習モデルを利用したTransformer-basedなマルチモーダル学習モデルを提案した．マルチモーダルデータは単モーダルデータと比較するとデータ収集のコストが高く，一般的に大規模にデータを集めることは困難である．そこで，各モダリティの入力に事前学習されたTransformer-basedエンコーダーを利用し，その出力を別のTransformerにより統合するモデルを提案した．提案モデルの有効性を検証するために，音声と言語データとしてCMU-MOSIデータセットを，画像と言語データとしてMM-IMDbデータセットを利用し，２つのマルチモーダルデータセットに対して分類タスクをおこなった．その結果，各データセットにおいて高い分類精度を示した．さらに，学習データ量の減少に対しても頑健性を示した．実際のロボットでは，大規模なデータ収集は難しいため，このように少量のマルチモーダルデータに対しても高い性能を発揮する手法は非常に重要である．この研究成果はIEEE Accessに記載された．
Transformerはロボットのモデルにも利用され多様なモデルが提案されている．そこで，Transformerのロボット利用に関して，タスクやモデルについて調査を行い，Transformerのロボット利用の現状や問題点，今後の方向性をまとめた．調査は，統合的タスク・ナビゲーション・マニピュレーション・センサ統合・言語指示・実ロボット利用の６つの視点から行った．これら６つの要素から構成されるタスクと，タスクを実現するためのモデルをまとめた．この調査結果はサーベイ論文としてジャーナルに投稿予定である．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(11 results)
