2023 Fiscal Year Research-status Report
実世界情報を統合した大規模言語モデルによるロボットの言語獲得
| Project/Area Number |
23K20006
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
宮澤 和貴 大阪大学, 大学院基礎工学研究科, 助教 (10976187)
|
|---|
| Project Period (FY) |
2023-08-31 – 2025-03-31
|
| Keywords | 大規模言語モデル / 言語獲得 / モバイルマニピュレーター / 知能ロボット / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は，大規模言語モデルと実世界情報を統合することで，ロボットの実世界に根差した言語獲得を実現することである．これを２台のモバイルマニピュレータを用いて行い，ロボット同士の言語を含むインタラクションを実現する．具体的な研究は，次の３つに分けられる．１）大規模言語モデルによる実世界の理解．２）ロボットの行動と大規模言語モデルの統合．３）実世界での言語を用いた他者とのインタラクション．今年度は特に，大規模言語モデルによる実世界の理解に重点を置き，その研究成果を国内学会で発表した．また，実験に用いるロボット本体を作成した．
ロボットが実世界を理解するためには，ロボットが観測する視覚，聴覚，触覚情報などのマルチモーダル情報を扱うことが重要である．そこで，大規模言語モデルのマルチモーダル情報統合能力について検証を行った．具体的には，親子間のインタラクションを模した，ロボットと人のインタラクション実験で取得したマルチモーダルデータを用いた．このロボットが取得したマルチモーダル系列データを大規模言語モデルにより統合するモデルを作成した．このモデルに対して言語理解タスクと言語生成タスクを行い，言語情報と非言語情報の相互予測について評価した．実験の結果，大規模言語モデルは簡単なマルチモーダル系列データに対して言語情報と非言語情報を適切に統合して予測に利用できることが確認された．
さらに，第41回日本ロボット学会学術講演会においてオーガナイズドセッション「OS20：大規模言語モデルとロボティクス」を開催した．このセッションでは，自然言語処理の専門家による基調講演１件と，一般発表７件が行われ，大規模言語モデルとロボティクスの接点について幅広く議論した．このセッションを通じて，関連する分野の研究者が知識の共有や意見の交換を行い，本研究課題を推進するうえでの重要な洞察を得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，ロボットが取得したマルチモーダル系列データを大規模言語モデルにより統合するモデルを作成し，国内学会において発表した．また，第41回日本ロボット学会学術講演会においてオーガナイズドセッション「OS20：大規模言語モデルとロボティクス」を開催し，大規模言語モデルとロボティクスの接点について幅広く議論を行った．さらに，実験に利用するモバイルマニピュレーターを作成した．モバイルマニピュレーターには，長時間稼働が可能な大容量のバッテリーや演算能力の高い小型の計算機を搭載した．このシステムを用いて，今後，モバイルマニピュレーターを用いた実験に取り掛かる予定である．以上により，当初の計画に従い，おおむね順調に研究が進展したといえる．
|
| Strategy for Future Research Activity |
本年度は，大規模言語モデルによる実世界の理解に向けて，大規模言語モデルのマルチモーダル情報統合能力について検証を行った．また，実験に用いるロボット本体及びそのシステムを作成した．今後は，モバイルマニピュレーターへ作成したモデルの実装を進めると共に，研究の２段階目及び３段階目である，２）ロボットの行動と大規模言語モデルの統合．３）実世界での言語を用いた他者とのインタラクション，について研究を進め，ロボットの実世界に根差した言語獲得の実現を目指す．また近年，大規模言語モデルのみでなく，大規模視覚・言語モデルや，大規模視覚・言語・行動モデルなどのマルチモーダルモデルの研究も進んでいるため，大規模言語モデルのみでなく，それらのマルチモーダルモデルを組み込む形で，ロボットの言語獲得について研究を進めていく．
|
