| Project/Area Number |
23K28140
|
|---|
| Project/Area Number (Other) |
23H03450 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
Basic Section 60030:Statistical science-related
Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鶴岡 慶雅 東京大学, 大学院情報理工学系研究科, 教授 (50566362)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2025: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2024: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2023: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
|
|---|
| Keywords | 強化学習 / 階層強化学習 / 言語モデル / スキル / 深層学習 |
|---|
| Outline of Research at the Start |
本研究プロジェクトでは、現実世界の意志決定問題、特に、完了までに多くのステップを必要とする長期タスクに対する深層強化学習の有効性を向上させるため、そのような問題に対して有効な階層強化学習手法の確立を目指す。具体的には、多様で有効なスキルを自動的に獲得し、さらにそれらを再利用可能にすることや、大規模言語モデルから得られる言語情報を活用することなどを通してエージェントの学習効率および汎化能力の向上を目指す。
|
| Outline of Annual Research Achievements |
本研究プロジェクトの目的である、完了までに多くのステップを有する長期タスクを遂行できるエージェントを実現するためには、方策の再利用性、すなわち、あるドメインで学習された方策を他のドメインで容易に再利用できることが重要である。たとえば、あるタスクに関してロボットAで学習した方策が、形状の異なるロボットBでも再利用できることが望ましい。そこで本研究プロジェクトでは、そのような、方策の再利用性を向上させるためのアプローチとして、異なるドメイン間で共用が可能な状態の潜在表現を学習する手法の研究および開発を行った。提案手法では、学習フェーズにおいて、いくつかのタスクに関してエキスパートによって作成された動作の軌跡があることを前提とし、それらの軌跡を利用して、異なるドメインの間で、状態の潜在表現のアライメント、すなわちタスクを遂行するうえで「同じ状態」が同じ潜在表現に対応付けががなされるように、状態や方策、およびそれらに関するエンコーダやデコーダの学習を行う。学習フェーズが終了し、転移元のドメインにおいて新たなタスクが与えられると、エンコーダやデコーダのパラメータは変化させず、共通の潜在空間において方策の学習を行う。このようにして学習された方策は、ドメイン間で共通の潜在表現に基づいているため、転移先のドメインにおいても再学習を行うことなく再利用することが可能となっている。本提案手法に関して、シミュレーション環境において評価実験を行った結果、ロボットや視点が異なるというドメインシフトの状況において、従来手法を上回る性能が得られることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトの目的を達成するために重要な要素のひとつである、エージェントの方策の再利用性を向上させることに関して有望な研究成果が得られており、研究の進捗としてはおおむね順調といえる。
|
| Strategy for Future Research Activity |
本年度は、昨年度の研究成果をベースとし、さらに発展させることで、本研究プロジェクトの目的である、長期タスクの遂行が可能なエージェントの実現を目指す。
具体的には、上述した方策の再利用性の向上という課題に引き続き取り組むことに加えて、近年注目を集めている大規模言語モデルやvideo2textの技術を活用することで、有効な方策を効率的に獲得することのできるアプローチの開発を計画している。長期のプランニングが必要なタスクにおいては、与えられた目標に対して、それをどのようにサブタスクに分割するかを決定することが難しいという問題があったが、大規模な言語モデルをプランニングに活用することで、長期的な目標設定が必要なタスクをある程度実現できることが報告されており、本研究プロジェクトにおけるハイレベル方策の学習に活用できる可能性がある。
|
