2018 Fiscal Year Research-status Report
| Project/Area Number |
18K11488
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
一杉 裕志 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (30356464)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐野 崇 成蹊大学, 理工学部, 助教 (00710295)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
高橋 直人 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40357380)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ベイジアンネットワーク / 深層学習 / 大脳皮質 / 確率伝搬アルゴリズム / 階層型強化学習 |
|---|
| Outline of Annual Research Achievements |
我々は大脳皮質の特徴を模倣した深層学習アルゴリズム BESOM を開発している。本研究では、BESOM の条件付確率表モデルを改良して表現力を向上させると同時に、効率的な推論・学習アルゴリズムを新たに設計する。
2018 年度は、新たな条件付確率表モデルの候補として、noisy-OR ノード、ゲートノード、排他ノードを組み合わせたものを採用し、それが複雑な対象をコンパクトに表現する高い表現力を持っているかどうかを見極めるための研究を行った。具体的には、脳の言語野における意味解析機構、前頭葉における記号推論を行う機構、視覚野における位置不変な応答をする複雑型細胞の機構をそれぞれ想定し、候補となる条件付確率表を持った BESOM がこれらの機構の中核技術として機能し得るかについて検討した。
脳の言語野における意味解析機構に関しては、理論言語学における組み合わせ範疇文法をベースにして、従来用いられてきたラムダ計算を不要にし、BESOM ネットワークで原理的に処理可能な単一化の機構のみを用いて意味解析を行う手法を提案した。また、想定される BESOM ネットワークが大脳皮質における言語野および周辺の領野と比較的よく対応がつくことを示した。
前頭葉における記号推論を行う機構に関しては、再帰的なサブルーチン呼び出しを可能とする階層型強化学習アーキテクチャRGoal を提案した。また、 RGoal における行動価値テーブルを圧縮するために２層 BESOM ネットワークを用いる構想について発表した。
視覚野における位置不変な応答をする複雑型細胞の機構に関しては、２層 BESOM をさらに単純化したベイジアンネットワークを用いて、シミュレーションにより有望な結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
noisy-OR ノード・ゲートノード・排他ノードを組み合わせたベイジアンネットワークが、脳の高次機能を再現するために必要な機能を持っていることを、脳の言語野モデル・前頭葉モデル・視覚野モデルへの取り組みを通じてほぼ確認した。
これらの条件付確率表モデルに対する学習アルゴリズムについては、パラメタ数に対して線形時間で動作する EM アルゴリズムを導出・実装ずみである。しかし現時点では GPU が使えず実行に時間がかかり、大規模な評価実験が非常にしにくい状況にある。また、アルゴリズムは複雑で、ヒューリスティックスの追加などの改良には大きな困難を伴う。そこで、若干方針を転換し、素朴な EM アルゴリズムとは違う学習手法の模索を開始した。具体的には、 GPU を使用可能な既存の深層学習フレームワークをベイジアンネットの学習に利用可能な種々の手法について検討を行っている。
並行して、将来の BESOM のキラーアプリとして有望な、階層型強化学習アーキテクチャ RGoal の開発に着手した。RGoal は人工知能分野における記号推論と統計的機械学習の統合という重要な未解決問題に対し、解決の道を開いた。
|
| Strategy for Future Research Activity |
新たな条件付確率表モデルが十分な表現力を持つことはほぼ確認できたので、今後は効率的な推論・学習アルゴリズムの設計に取り組む。
具体的には NVIL (Neural Variational Inference and Learning)[Andriy Mnih, Karol Gregor 2014] という手法の改良を検討する。NVIL は変分オートエンコーダーと似ているが、生成モデルを設計者が直接作り込めるため、モデルに事前知識を入れやすいという利点を持つ。しかしこの手法では可視層と隠れ層の２層構造しか扱えない。そこで、 loopy belief propagation の定数回の反復を展開した計算グラフにバックプロパゲーションを適用して学習する手法と組み合わせることを検討する。この他にも、確率伝搬アルゴリズムのメッセージ計算をZDD を使って圧縮する手法 [Shan, Ishihata, Minato 2017] などを取り込むことを検討する。
2018 年度に我々が提案した階層型強化学習アーキテクチャ RGoal については、今後も引き続き改良を進める。RGoal は人工知能分野における記号推論と統計的機械学習の統合という重要な未解決問題の解決に近づく有望な技術である。また、 RGoal はテーブル圧縮に BESOM を用いることを想定しており、本研究で実用化を目指す BESOM のキラーアプリとしても位置づけられる。
複雑型細胞のモデルは計算論的神経科学の観点から有望であり、これも引き続き研究を進める。BESOM が大脳皮質のモデルとして神経科学的な妥当性を持つことを示すことで、BESOM が人間のような知能を再現するための基盤技術になることを他の研究者にアピールし、同様の研究に取り組む研究者を増やすことを目指す。
|
| Causes of Carryover |
2018 年度は学会参加回数が当初予定より少なかったため、予算使用額も当初見込みを下回った。
次年度以降の学会参加費・旅費等に充当する予定である。
|
