| Project/Area Number |
23K11221
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
森田 武史 青山学院大学, 理工学部, 教授 (50590171)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
谷津 元樹 青山学院大学, 理工学部, 助教 (30805015)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | Embodied AI / 知識グラフ / オントロジー / 大規模言語モデル / 常識推論 / 対話エージェント |
|---|
| Outline of Research at the Start |
ユーザと仮想現実空間とのインタラクションを通じて身体性を持つエージェントが学習し，様々なタスクの解決を目指すEmbodied AIと呼ばれる研究が進められている．従来研究では，ユーザがエージェントに直接的な要求をすることにより，視覚的質問応答やナビゲーションなどのタスクを解決できている．しかし，常識・行動・領域知識に基づいてユーザの発話や仮想現実空間内の行動からユーザの次の行動を推論し，ユーザの潜在的な要求に応えることが可能な対話エージェントは実現できていない．本研究では，家庭シミュレータ上で常識・行動・領域知識に基づき家庭内行動を推論する対話エージェントシステムを開発することを目的とする．
|
| Outline of Annual Research Achievements |
本研究は，家庭シミュレータVirtualHome上で常識・行動・領域知識に基づき家庭内行動を推論する対話エージェントシステムを開発するものである．2023年度は，大規模言語モデル（LLM），家庭・行動知識に基づいて，ユーザの曖昧な要求からその要求の実現に必要なVirtualHome内の場所を案内可能なプロトタイプシステムを開発し，知識グラフに基づく先行研究システムとの比較評価を行った．先行研究で構築した評価用データセットを用いて評価した結果，提案システムが先行研究システムをF1値で上回ることを確認した．本評価結果より，LLMを常識知識推論や対話モジュールとして利用できる可能性を示すことができた．本成果は，2024年度人工知能学会全国大会で発表する予定である．
さらに，本研究の基礎研究として，知識グラフ（Wikidata）を対象とした日本語エンティティリンキング（EL）と抽象的なタスク記述からVirtualHome上で実行可能なアクションスクリプト（AS）を自動生成する手法も研究した．
EL研究の多くは英語を対象としており，日本語を対象とするEL研究は少ない．また，Wikidataを対象とした日本語EL評価用データセットは著者の知る限り存在しない．そこで，英語EL評価用データセットを日本語に自動翻訳し，提案する日本語EL手法の評価に用いた．評価実験より，提案手法が既存の多言語ELモデルをF1値で上回ることを確認した．
自然言語文からASを自動生成する研究は行われているが，それらのASの実行率は約40%である．本研究では，LLMに行動と家庭知識を与え，抽象的なタスク記述から詳細な記述を生成し，詳細な記述からASを段階的に生成する手法を提案した．提案手法が生成したASの実行率は100%となり，既存手法と比べて実行率を大幅に向上できた．
これらの成果を知識グラフに関する国際会議で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は，大規模言語モデル（LLM）と家庭知識に基づいて，ユーザの曖昧な要求からその要求の実現に必要なVirtualHome内の場所を案内可能なプロトタイプシステムを開発した．知識グラフで表現された家庭環境知識や常識推論モデルをLLMで代替できるかは不明であったが，LLM研究の進展により，想定していたよりも早く，LLMに基づくプロトタイプシステムを開発することができた．また，提案システムは知識グラフに基づく先行研究システムをF1値で上回ることができた．さらに，本研究の基礎研究として，知識グラフ（Wikidata）を対象とした日本語エンティティリンキング（EL）と抽象的なタスク記述からVirtualHome上で実行可能なアクションスクリプト（AS）を自動生成する手法を研究し，知識グラフに関する国際会議で成果が発表できた．以上より，本研究課題はおおむね順調に進展している．
|
| Strategy for Future Research Activity |
現状のプロトタイプシステムは，先行研究において構築した評価用データセットに基づいて評価をしているが，この評価用データセットは，家庭環境におけるユーザの潜在的な要求の体系的な分析に基づいて構築できていない．また，潜在的な要求の中には，家庭環境や行動知識を参照しなくても，LLMが備える常識知識推論のみで回答できるものも含まれていると考えられる．以上より，今後は，家庭環境におけるユーザの潜在的な要求を体系的に分析し，家庭環境と行動知識を参照しなければ回答できないユーザの潜在的要求を含む評価用データセットを構築し，提案システムの評価を進めたい．
また，LLMの常識推論と質問応答能力についても，十分に分析ができていないため，知識グラフに基づく常識推論や質問応答の先行研究と比較し，LLMの利点や欠点を明らかにしていきたい．
さらに，知識グラフを対象としたエンティティリンキング，抽象的なタスク記述からのアクションスクリプト生成，常識知識や領域知識の補完など，本研究の基礎研究も同時に進める予定である．
|
