再帰的強化学習を用いた言語理解・発話計画機構の開発
| Project/Area Number |
22K12188
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
一杉 裕志 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30356464)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 崇 東洋大学, 情報連携学部, 講師 (00710295)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (80357631)
高橋 直人 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40357380)
竹内 泉 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (20264583)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 階層型強化学習 / 認知アーキテクチャ / プログラム合成 / ベイジアンネットワーク / 計算論的神経科学 / 汎用人工知能 / 語用論 / 数理論理学 / 対話システム |
|---|
| Outline of Research at the Start |
本研究ではヒトのような合目的的な言語理解・発話計画を行う機構の基本原理を明らかにする。対話の目的は長期的な報酬期待値最大化であると仮定し、我々が開発した再帰的強化学習 RGoal を用いて、対話を行うための行動ルールを自律的に学習・実行する知的エージェントを実装する。さらに、エージェントの脳内のワーキングメモリの機構や、知識獲得を促進させるためにエージェントの脳・身体に備わる様々な機構を実装し、性能との関係を明らかにする。
|
| Outline of Annual Research Achievements |
本研究はヒトの言語理解の機構の本質的部分を抽象化した「模型」を作り、世に示すことを目的としている。また、知識獲得の性能を飛躍的に向上させるために、知的エージェントの脳・身体が持つべき機構を、神経科学・認知科学・言語学・論理学などの周辺分野の知見を参考にして明らかにする。
「開発フレームワークの実装」に関しては、ＡＩエージェントどうしが論理式に似た形式で対話する機構の実装、行動ルール記述言語のデバッグ支援機構の機能拡張を行った。 「ヒトが解くべきタスクの性質への対応」に関しては、生物一般の報酬関数や対話の際のサブゴールなどについて考察を進めた。 「アーキテクチャの実装と評価」に関しては、ＡＩエージェントに発話と言語理解を行うためのプリミティブを追加し、簡単なテストプログラムを用いて対話動作の確認を行った。 「アルゴリズムの効率化」に関しては、エージェントの自律的行動ルール獲得の実現に向けて、行動価値関数を表現するテーブルの効率的圧縮アルゴリズムを実装し評価した。また、確率的グラフィカルモデルにおける変分近似法について調査した。 「並列処理方式の開発」に関しては、Julia言語を用いた高性能並列実行環境の構築を行った。 「周辺分野の知見との関係の解明」に関しては、言語学における関連性理論、機械学習理論における belief MDP、計算論的神経科学における海馬神経回路モデルと提案アーキテクチャとの間の関係の考察、理論言語学における組み合わせ範疇文法を用いた人間らしい構文解析を行うための文法の開発、「なぜ」「だから」を含む文の意味に関する論理学的な分析を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実施計画で想定した開発が進み研究会発表などを行っているため、おおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
報酬最大化を目的とする言語理解・発話計画を行うＡＩアーキテクチャの設計とその要素技術の開発を引き続き行う。
具体的には、人間の言語理解・発話計画を説明する関連性理論を POMDP (部分観測マルコフ決定過程)の枠組みを用いて定式化・拡張しその原理を明確化すること、再帰的強化学習アルゴリズム RGoal を用いた行動計画の機構の開発、ＡＩエージェントの行動ルール記述言語 Pro5Lang の宣言的記憶機構の改良や実行制御機構の改良、Pro5Lang で書かれた行動ルールを効率的にプログラム合成するためにエージェントの身体に作り込む反射・情動などの機構の開発、大規模化可能なベイジアンネット BESOM4 の効率的な推論・学習アルゴリズムの開発、言語学・論理学・神経科学などの知見との関係の解明などを行う。
なお、2022年ごろから急速に注目を集めている ChatGPT などの LLM (大規模言語モデル)は本研究と非常に関連が深い。 LLM 関連技術とその応用および社会への普及状況についてキャッチアップしつつ、我々のアーキテクチャへの取り込む方法も検討する。また、現状の LLM に不足していると言われる、文章の深い理解・長期記憶・熟考・動機・継続学習・身体性などの機能を LLM に追加する手法の提案なども今後検討していく。
急速に発展する AI を人類に役に立つ安全なものにするための「ＡＩアライメント」と呼ばれる分野についても強く関心を向けていく。
|
Report
(1 results)
Research Products
(9 results)
