再帰的強化学習を用いた言語理解・発話計画機構の開発
| Project/Area Number |
22K12188
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
一杉 裕志 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30356464)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 崇 東洋大学, 情報連携学部, 准教授 (00710295)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 招聘研究員 (80357631)
高橋 直人 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40357380)
竹内 泉 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (20264583)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 階層型強化学習 / 認知アーキテクチャ / プログラム合成 / ベイジアンネットワーク / 計算論的神経科学 / 汎用人工知能 / 語用論 / 数理論理学 / 対話システム |
|---|
| Outline of Research at the Start |
本研究ではヒトのような合目的的な言語理解・発話計画を行う機構の基本原理を明らかにする。対話の目的は長期的な報酬期待値最大化であると仮定し、我々が開発した再帰的強化学習 RGoal を用いて、対話を行うための行動ルールを自律的に学習・実行する知的エージェントを実装する。さらに、エージェントの脳内のワーキングメモリの機構や、知識獲得を促進させるためにエージェントの脳・身体に備わる様々な機構を実装し、性能との関係を明らかにする。
|
| Outline of Annual Research Achievements |
本研究はヒトの言語理解の機構の本質的部分を抽象化した「模型」を作り、世に示すことを目的としている。また、知識獲得の性能を飛躍的に向上させるために、知的エージェントの脳・身体が持つべき機構を、神経科学・認知科学・言語学・論理学などの周辺分野の知見を参考にして明らかにする。
「開発フレームワークの実装」に関しては、ＡＩエージェントが動作する環境の抽象度を高め、テストプログラムの記述を容易にすることを検討した。「ヒトが解くべきタスクの性質への対応」に関しては、自然言語を理解した結果を表現する心的表象に関して、状況意味論と似た表現を導入することを検討した。「アーキテクチャの実装と評価」に関しては、ＡＩエージェントの行動計画の機構を実装し、簡単なテストプログラムを用いて動作の確認を行った。また、設計中のＡＩエージェントのアーキテクチャについて、報酬最大化を目的とした行動計画・実行・対話・推論を行う機構として統一的に理解できることを示した。「アルゴリズムの効率化」に関しては、再帰的強化学習アルゴリズム RGoal に対し、サブルーチンの出口を複数持たせた上、例外終了も可能にする機能拡張を行い、ＡＩエージェントの行動ルールの表現力を向上させた。また、学習アルゴリズムに適格度トレースを入れることで、サブルーチン終了時の状態の価値をサブルーチン内部の状態の価値に反映させるようにした。「周辺分野の知見との関係の解明」に関しては、組み合わせ範疇文法による漸進的解析に関する研究、「だから」を含む自然言語の文における意味論に関する研究を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実施計画で想定した開発が進み研究会発表などを行っているため、おおむね順調に進展していると言える。なお、再帰的強化学習アルゴリズム RGoal に関して、例外終了、適格度トレースの導入が必須であることが判明したため、それに対応したアルゴリズム設計に想定以上の時間を割いた。
|
| Strategy for Future Research Activity |
報酬最大化を目的とする言語理解・発話計画を行うＡＩアーキテクチャの設計とその要素技術の開発を引き続き行う。
具体的には、人間の言語理解・発話計画を説明する関連性理論を POMDP (部分観測マルコフ決定過程)の枠組みを用いて定式化・拡張しその原理を明確化すること、再帰的強化学習アルゴリズム RGoal を用いた行動計画の機構の開発、ＡＩエージェントの行動ルール記述言語 Pro5Lang の宣言的記憶機構の改良や実行制御機構の改良、Pro5Lang で書かれた行動ルールを効率的にプログラム合成するためにエージェントの身体に作り込む反射・情動などの機構の開発、大規模化可能なベイジアンネット BESOM4 の効率的な推論・学習アルゴリズムの開発、言語学・論理学・神経科学などの知見との関係の解明などを行う。
なお、2022年ごろから急速に注目を集めている ChatGPT などの LLM (大規模言語モデル)は本研究と非常に関連が深い。 LLM 関連技術とその応用および社会への普及状況についてキャッチアップしつつ、我々のアーキテクチャへの取り込む方法も検討する。また、現状の LLM に不足していると言われる、文章の深い理解・長期記憶・熟考・動機・継続学習・身体性などの機能を LLM に追加する手法の提案なども今後検討していく。
急速に発展する AI を人類に役に立つ安全なものにするための「ＡＩアライメント」と呼ばれる分野についても強く関心を向けていく。
|
Report
(2 results)
Research Products
(15 results)
