2020 Fiscal Year Annual Research Report
Developing data-structure-mining methods in deep learning
| Project/Area Number |
18K11459
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 宗樹 山形大学, 大学院理工学研究科, 准教授 (20532774)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 人工知能 / 情報統計力学 / ベイズ統計 / 逆問題 / アルゴリズム |
|---|
| Outline of Annual Research Achievements |
令和２年度は主に以下に述べる成果を得ている。
（１）前年度までで提案してきたニューラルネットワークモデルの入出力逆問題解法を拡張し、より実践的な場面で使用できるように改良した。具体的には以下の通りである。前年度までで提案した解法は所望の出力値に対して事後確率の意味で尤も相応しい入力を推定するものであるが、定式化の都合上、任意の実数値の範囲での入力が推定されてしまうという問題があった。しかしながら、現実的な問題においては入力はある範囲に限定さえている等の制約を持つことが多い。そこで本年度は理論を拡張し、推定される入力に対してある程度の制約（範囲制約や等式制約）を加えることができるように改良した。これにより、より現実的な問題に直接的にアプローチできるようなったと期待される。本成果は、昨年度までの成果と合わせて近い将来に論文投稿予定である。
（２）本年度は、上記（１）とは別に、確率的深層学習モデルに対する研究成果もあった。確率的深層学習として深層ボルツマンマシンを考え、それに対する従来法を超える高効率学習アルゴリズムを提案した。深層ボルツマンマシンは、入出力間の結合確率を学習により獲得するモデルであり、入出力間相互情報量や入出力逆問題が自然に定式化できるものとなっている。つまり、（１）のアプローチと同様の目的をより自然に考えることのできるモデルである。本年度は、空間モンテカルロ積分法と呼ばれる高効率期待値近似法を導入することで、深層ボルツマンマシンに対する高精度学習アルゴリズムを提案した。この成果により、深層学習モデルの内部解析を実用的なレベルで行えるようになった。
この成果は情報処理学会第８３回全国大会や国際学会にて発表済みであり、また、その拡張的成果は学術論文として投稿済みとなっている。
|
| Remarks |
成果に関する web ページ
http://www.adv-pip.yz.yamagata-u.ac.jp/~muneki/index.html
|
