2017 Fiscal Year Annual Research Report
a practical designing theory for deep learning models
| Project/Area Number |
15K00330
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 宗樹 山形大学, 大学院理工学研究科, 准教授 (20532774)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 深層学習 / 統計的機械学習 / 確率的情報処理 / 情報統計力学 / 理論解析 / アルゴリズム開発 |
|---|
| Outline of Annual Research Achievements |
当該研究計画は、確率的情報処理理論や情報統計力学理論の解析手法を主たるツールとして、深層学習やその関連モデルの数理的的な背景を明らかとし、モデル設計理論へとつなげることを目的としている。平成２９年度の当該研究計画に関連する二つの主な成果を以下に述べる。
①一つ目は、スパースモデリング理論を用いた制限ボルツマンマシンの隠れ変数削減に関する研究である。スパース正則化の効果を制限ボルツマンマシンの隠れ層に適用することによって、学習の過程で自動的に不必要な隠れ変数の効果を弱めるアルゴリズムを開発した。隠れ変数の個数の選択問題は、深層学習をはじめ様々なモデル設計に対してもっとも大きな問題の一つであり、当成果はその問題に対する（まだ限定的ではあるが）明確な道筋を提示した。当成果は平成３０年度の情報処理学会全国大会で発表しており、さらに詳細をつめて論文執筆につなげる予定である。
②二つ目は、マルコフ確率場（上記の制限ボルツマンマシンを含むより広いクラスのモデル）に対するノンパラメトリック機械学習アルゴリズムの開発である。統計力学の中で知られているベーテ近似という近似解析法を利用して、ノンパラメトリックなモデル設計下での高速な学習アルゴリズムを開発した。問題をどのようなパラメトリックモデルに設定するかは重要なモデル設計の問題である。当成果は、ポテンシャル関数として任意の関数を許容した場合の学習アルゴリズムを可能とした。つまり、データから自動的に最適なモデルが求まるようなアルゴリズムであり、マルコフ確率場のモデル設計に対して重要な成果である。当成果は国際学術論文誌（JPSJ）から出版されている。
|
