2019 Fiscal Year Research-status Report
| Project/Area Number |
18K11459
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
安田 宗樹 山形大学, 大学院理工学研究科, 准教授 (20532774)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 深層学習 / 人工知能 / 情報統計力学 / ベイズ統計 / 逆問題 / アルゴリズム |
|---|
| Outline of Annual Research Achievements |
本研究計画は、深層学習に関わるブラックボックス問題解決に向けたアプローチを統計力学及びベイズ統計的手法等に基づき確立することを目的としている。
令和１年度は主に以下に述べる成果を得ている。
ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法：ニューラルネットワークの（教師あり）学習は入力と出力に対応する訓練データを用いてモデルパラメータの最適化を行う。ニューラルネットワークは入力から出力を算出することは容易である一方、その逆、即ち、出力から入力を推定することは一般には難しい。本研究では、ベイズ統計と統計力学的近似推論法である平均場近似を用いてこの逆問題の解法を定式化する。逆問題の考え方は本研究計画の主題において重要である。出力から入力を推定することができれば、ニューラルネットワークシステムが目的の出力に対して尤もらしい入力を求めることができ、そのシステムが入力をどのように見て結果へとつなげているのかが明らかとなるからです。この成果は昨年度からの継続課題である。今年度は昨年度の成果を拡張して、逆問題解法のアルゴリズムを改良し、また、更に入出力間の相互情報量の解析も進めた。相互情報量の解析からは各入力要素の結果に対する重要性を情報理論の立場から明らかとすることができる。以上の成果は情報処理学会第８２回全国大会にて発表済みであり、現在論文執筆準備中である。
その他の成果：確率的深層学習モデルにおける新しい学習アルゴリズムの提案（新しいスパース正則化付き学習の提案や汎化性能に優れた新しいモデルの提案）などが挙げられる。これらの成果は情報処理学会第８２回全国大会にて発表済みであり、また、その拡張的成果は国際学会の論文として投稿済みとなっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
【研究実績の概要】で述べた「ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法」の成果は本研究計画の核となる目的に対して直接的なアプローチを可能にする理論構築に成功しており、当初計画を超えて本研究計画を成功へと導くものであると考えている。
また、確率的深層学習モデルに対する研究成果も深まってきており、そのモデルを通した本研究計画への上記とは別アプローチの可能性も現実味を帯びてきており、本研究計画を多角的視点から進めていける状況となった。
|
| Strategy for Future Research Activity |
ベイズ統計に基づくニューラルネットワークモデルの逆問題の解法」は今年度の成果より、かなり実践的な状況に対応できる理論となった。今後は、現実的なデータ（各種ベンチマークデータやその他の個別データ）に基づき相関構造マイニングを実践して、本計画研究の核となる研究目的に対する成功例を作り上げることが目標となる。
また、確率的深層学習モデルを基礎としたアプローチも更に深めていく予定である。
|
| Causes of Carryover |
新型コロナウイルスの影響で参加予定であった学会・研究会等が中止（または現地開催中止）となり、その分として計上していた予算が次年度使用額となった。
次年度使用額は本年度中止になった分の参加学会・研究会を次年度に移し、次年度使用額をそれらの旅費として使用する予定である。
|
| Remarks |
成果に関する web ページ
http://www.adv-pip.yz.yamagata-u.ac.jp/~muneki/index.html
|
