2019 Fiscal Year Research-status Report
| Project/Area Number |
18K11488
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
一杉 裕志 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30356464)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 崇 成蹊大学, 理工学部, 助教 (00710295)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
高橋 直人 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40357380)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ベイジアンネットワーク / 深層学習 / 大脳皮質 / 確率伝搬アルゴリズム / 階層型強化学習 |
|---|
| Outline of Annual Research Achievements |
我々は大脳皮質の特徴を模倣した深層学習アルゴリズム BESOM を開発している。本研究では、BESOM の条件付確率表モデルを改良して表現力を向上させると同時に、効率的な推論・学習アルゴリズムを新たに設計する。
2018 年度は、新たな条件付確率表モデルの候補として、noisy-OR ノード、ゲートノード、排他ノードを組み合わせたものを採用し、それが複雑な対象をコンパクトに表現する高い表現力を持っているかどうかを見極めるための研究を行った。また、 BESOM のキラーアプリの候補の１つとして、再帰的なサブルーチン呼び出しを可能とする階層型強化学習アーキテクチャ RGoal を提案した。
2019 年度は、 RGoal を拡張してスタックを持たせた場合の学習則を導出した。さらにその機構を用いて記号推論を行う枠組みを構築し、これにより従来の記号ＡＩと強化学習の枠組みを統合する道筋をつけた。提案手法は、パターンマッチを用いて行動ルール選択を行うが、このパターンマッチと行動ルールの学習に BESOM の機能を使うことを想定している。記号ＡＩにおいては環境からの知識獲得をどう実装するかが問題となるが、提案手法では推論規則の正しさをサブゴールに到達するまでのコストで代用することで強化学習により獲得可能にした。学習に必要な正解が必ずしも得られない問題については、ワーキングメモリの内容と環境の状態の矛盾を検出したときに推論訓練モードに移行する機構によって解決した。RGoal の研究と並行して、昨年度までに設計した BESOM の条件付確率表モデルを勾配法を用いて学習する方法についてプロトタイプ実装を始めた。また、変分ベイズを用いた学習手法も検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
noisy-OR ノード・ゲートノード・排他ノードを組み合わせたベイジアンネットワークが、脳の高次機能を再現するために必要な機能を持っていることを、脳の言語野モデル・前頭葉モデル・視覚野モデルへの取り組みを通じてほぼ確認した。
これらの条件付確率表モデルに対する学習アルゴリズムについては、パラメタ数に対して線形時間で動作する EM アルゴリズムを導出・実装ずみである。しかし現時点では GPU が使えず実行に時間がかかり、大規模な評価実験が非常にしにくい状況にある。また、アルゴリズムは複雑で、ヒューリスティックスの追加などの改良には大きな困難を伴う。そこで、若干方針を転換し、素朴な EM アルゴリズムとは違う学習手法の模索を開始した。具体的には、 GPU を使用可能な既存の深層学習フレームワークをベイジアンネットの学習に利用可能な種々の手法について検討を行っている。
並行して、 BESOM のキラーアプリの候補の１つとして有望な、階層型強化学習アーキテクチャ RGoal の研究を進めている。現在までに RGoal を機能拡張し記号ＡＩに応用する手法を提案した。RGoal は人工知能分野における記号ＡＩと統計的機械学習の統合という重要な未解決問題に対し、解決の道を開いた。記号ＡＩにおける知識獲得の問題に対しては、推論規則の正しさをサブゴールに到達するまでのコストで代用することで強化学習により獲得可能にした。学習に必要な正解が必ずしも得られない問題については、ワーキングメモリの内容と環境の状態の矛盾を検出したときに推論訓練モードに移動する機構によって解決した。
|
| Strategy for Future Research Activity |
新たな条件付確率表モデルが十分な表現力を持つことはほぼ確認できたので、今後は効率的な推論・学習アルゴリズムの設計に取り組む。具体的には、確率伝搬法におけるメッセージ計算を機械学習の手法を応用して効率化する方式について有効性を検証していく。
2018 年度に我々が提案した階層型強化学習アーキテクチャ RGoal については、今後も引き続き改良を進める。RGoal は人工知能分野における記号ＡＩと統計的機械学習の統合という重要な未解決問題の解決に近づく有望な技術である。また、 RGoal はテーブル圧縮に BESOM を用いることを想定しており、本研究で実用化を目指す BESOM のキラーアプリとしても位置づけられる。知識獲得については、推論規則の正しさをサブゴールに到達するまでのコストで代用することで強化学習により獲得可能にしたが、候補となる推論規則を絞り込むためのヒューリスティックスの開発が必要となる。また、現在は人工的で小規模な環境・タスクにおいて動作確認した段階にすぎないが、より現実の環境に近い要素を取り入れた環境において動作確認をする必要がある。
複雑型細胞のモデルは計算論的神経科学の観点から有望であり、これも引き続き研究を進める。BESOM が大脳皮質のモデルとして神経科学的な妥当性を持つことを示すことで、BESOM が人間のような知能を再現するための基盤技術になることを他の研究者にアピールし、同様の研究に取り組む研究者を増やすことを目指す。
|
| Causes of Carryover |
2019 年度は学会参加回数が当初予定より少なかったため、予算使用額も当初見込みを下回った。
2020 年度は主に計算機使用料に充当する予定である。
|
