| 研究課題/領域番号 |
23KJ1917
|
|---|
| 研究機関 | 慶應義塾大学 |
|---|
研究代表者 |
神原 元就 慶應義塾大学, 理工学研究科(矢上), 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-04-25 – 2026-03-31
|
| キーワード | Domestic Service Robot / Vision & Language |
|---|
| 研究実績の概要 |
本年度は，当初の研究計画に則り，1.「自然言語指示文のためのマルチモーダル言語理解」，2.「指示文生成,説明性向上のためのクロスモーダル言語生成」, 3.「生活支援ロボットによる日常タスクの実行」について研究に取り組んだ．
今年度の成果の１つ目として，課題1において取り組んだDialFREDタスクに関するコンペティションが，コンピュータビジョン分野における最大の国際会議であるCVPR 2023のワークショップにおいて開催され，我々の提案手法が優勝を達成したことが挙げられる．本ベンチマークは代表的なロボットの自然言語指示理解ベンチマークであり，提案手法における新規性は他のタスクにおいても適用可能であることから，重要な成果であると言える．
また，2つ目の成果として，アメリカの研究所において実施した半年間の研究インターンシップでは，人間の料理に関するデモ動画から，マニピュレータのための分割されたタスク系列を生成するマルチモーダル言語生成研究に取り組んだ．結果として，提案手法は既存手法を上回る結果を得ることができた．このタスクは比較的新しく，今後の更なる発展が望まれる点で重要な進捗であった．このインターンシップにおける成果は，ロボット分野におけるトップ国際会議の一つであるICRA 2024でのワークショップにおいて発表予定である．
さらに，3つ目の成果として，研究項目1及び3において，実機データを用いた実験において，提案手法の有効性を確認する結果を複数得ることができた．これらの結果はJSAI 2024で発表予定である他，ロボット分野におけるトップ国際会議の一つであるIROS 2024に投稿済みであり，現在査読中である．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
本研究の3つの研究項目である，1.「自然言語指示文のためのマルチモーダル言語理解」，2.「指示文生成,説明性向上のためのクロスモーダル言語生成」, 3.「生活支援ロボットによる日常タスクの実行」については，当初の想定以上に進展することができた．
今年度は課題1に関連する研究として，ユーザによって与えられた指示文を理解・タスク分割し最終的にロボットで物体操作タスクを行うDialFREDタスクに取り組んだ．本タスクにおいて，特徴量にノイズを加えることで特徴量の微細な振動に対応し汎化性能を高めるための機構であるMATモジュールを導入した手法を提案した．このモジュールは，モデルの汎用性向上において非常に有効な手段であり，これは今後他の研究における手法においても活用しうることから，非常に重要な進展であると言える．
また，課題2について，人間の料理タスク等のデモ動画からマニピュレータのためのタスク系列生成手法を提案した．既存手法は模倣学習的なアプローチが多い中，あらゆる環境における人間のデモンストレーションから直接的に動作系列を生成できるというアプローチは画期的な方法であり，これを応用させることで，他のタスクにおいても同様のアプローチで解決できるというアイデアを得ることができた．さらに，最新の短文自動評価尺度を用いたキャプション生成手法に関する研究にも取り組んでおり，来年度はこの性能をさらに向上させていくことを考えている．
3つめの課題に関しては，家庭内環境においてどこに物体があるかの情報及び画像を効率的に収集するための手法を提案した．これは，今後ユーザの指示を効率的に実行するための基盤として重要な技術であり，他タスクにおいて基盤的な活用が期待される．
|
| 今後の研究の推進方策 |
今後の研究の推進方策として，本年度に取り組み始めた各研究項目における研究課題をさらに発展的なタスクへと推し進めていくことを考えている．
研究項目1「自然言語指示文のためのマルチモーダル言語理解」においては，本年度取り組んだDialFREDタスクに関連し，自然言語指示文理解モデルに基づく物体操作タスクにおいて，連続的な移動が可能なシミュレータを構築し，その中でfree-formな指示文を用いたタスクに取り組むことを予定している．また，研究項目2.「指示文生成,説明性向上のためのクロスモーダル言語生成」においては，上記の物体操作タスクのためのfree-formな指示文生成モデルの提案を行う．これによって，人間に近い品質の指示文生成を自動化し，データセット構築の完全自動化を目指していく．
最後に，研究項目3.「生活支援ロボットによる日常タスクの実行」については，上記の各研究項目での研究成果を，実機に適用し，実世界での実験を行うことで，各自然言語処理手法及び生活支援ロボットの橋渡しを実証していく予定である．
|
| 次年度使用額が生じた理由 |
生じた理由は，本来生活支援ロボットを用いた物体操作実験に使用予定であった分の物品費について，当該実験を翌年度に持ち越す実験計画となったため，その分の物品費が浮いたためである．
使用計画としては，来年度に当該実験を行う予定であるが，その際に生活支援ロボットが把持する物体の購入費に改めて充てる予定である．
|
