2021 Fiscal Year Annual Research Report
Development of a deep learning implementation scheme using belief propagation
| Project/Area Number |
18K11488
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
一杉 裕志 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30356464)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 崇 東洋大学, 情報連携学部, 講師 (00710295)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (80357631)
高橋 直人 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40357380)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | ベイジアンネットワーク / 深層学習 / 大脳皮質 / 確率伝搬アルゴリズム / 階層型強化学習 / 認知アーキテクチャ |
|---|
| Outline of Annual Research Achievements |
我々は大脳皮質の特徴を模倣した深層学習アルゴリズム BESOM を開発している。本研究では、BESOM の条件付確率表モデルを改良して表現力を向上させると同時に、効率的な推論・学習アルゴリズムを新たに設計する。
2018 年度は、新たな条件付確率表モデルの候補として、noisy-OR ノード、ゲートノード、排他ノードを組み合わせたものを採用し、それが複雑な対象をコンパクトに表現する高い表現力を持っているかどうかを見極めるための研究を行った。また、再帰的なサブルーチン呼び出しを可能とする階層型強化学習アーキテクチャ RGoal を提案した。
2019 年度は、 RGoal を拡張してスタックを持たせた場合の学習則を導出した。さらにその機構を用いて記号推論を行う枠組みを構築した。また、確率モデルの変分ベイズを用いた学習手法も検討した。
2020 年度は、条件付確率モデルを改良した BESOM において勾配法を用いて重みを学習可能であることを確認した。また、 Noisy-OR, Noisy-AND ゲートによる位置不変性の変分学習、複数の物体を操作するタスクに適したワーキングメモリの構造の設計、ベイジアンネットを用いた自然言語のガーデンパス文の解析モデルの設計も行った。Julia言語を用いた分散並列実行環境の構築も行った。
2021 年度は、汎用人工知能のためのプログラム合成対象言語 Pro5Lang のエピソード記憶機構の設計を行った。また、大規模ベイジアンネットの推論の効率化に関する研究と、深層学習の並列処理に関する研究を行った。
|
