| 研究課題/領域番号 |
26870185
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
小渕 智之 東京工業大学, 総合理工学研究科(研究院), 助教 (40588448)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2017-03-31
|
| キーワード | 逆問題 / ベイズ統計 / 機械学習 / 統計物理学 / ニューラルネットワーク / スパースモデリング |
|---|
| 研究実績の概要 |
平成２６年度は、特に逆問題の理論的理解を追求することに重点をおいた。フランスにおいて在外研究を行い、逆問題の解集合の体積評価に関する解析を集中的に行った。ランダム系の統計力学の技術を用いてこれを行ったが、問題の難しさから数値計算や近似及び現象論を用いた。これにより逆問題に広く使われるフレームワークである最大エントロピー法の基礎づけに寄与する研究成果を上げることができた。
また、解の「疎性」というキーワードに着目し、これが学習・逆問題において非常に重要な意味を持つことに気が付き、新たなテーマとして、解の疎性を利用したデータ圧縮法に関する研究にも取り組んだ。成果として、そのようなデータ圧縮における理論的な圧縮限界を与えたこと、通常使われる簡便法であるL_1正則化と関連する技術に対しての理論的限界を与えたことなどがあげられる。また、この問題は与えられたデータベクトルを表現する基底の選択問題として考えることができるが、この基底選択問題は統計力学のスピン系の問題マップする事ができる。このスピン系の空間は比較的性質が良いことが我々の研究から明らかとなった。これは次年度以降の研究におけるアルゴリズム開発に吉報を与えている。
一見データ圧縮法に関する研究は本研究のテーマである学習・逆問題と無関係に見えるが、実際はそうではない。脳及び人工のニューラルネットワークは、外界より流れてくるシグナルを何らかの方法で圧縮・加工することによりデータ処理を行っている。本研究はそのようなニューラルネットワークの新しい解析法を与えており、近年興隆著しいニューラルネットワーク関連技術の理論的基礎を与えうる方法論となっている。本研究はそれらの理論解析の第一歩となっている。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究の目標は、逆問題に関する数理的理解を与えること、及びそれに基づき、良いアルゴリズムを構成しそれを応用することである。本年度までの研究成果を以下に述べる。
平成２６年度は、元々以下の２項目 ー１．逆問題の解集合の体積評価、２．解の安定性に関する議論の構築ー に取り組む予定であった。これらの一つ目に関してはすでに解析を終え論文の執筆投稿段階に入っている。成果として、逆問題において使われる方法論である最大エントロピー法の基礎づけに寄与したことがあげられる。２つ目に関しての議論も進展し、非自明な結果を上げているが、論文執筆には至っていない。これらのことから、この課題については達成度は７０～８０％というところであろう。
以上の問題以外にも、逆問題・学習に関する重要な課題を研究遂行中に発見した。それは、解の疎性を利用したデータ圧縮法に関する理論研究であるが、これは本質的に学習の問題と関わっている。近年、ディープラーニングに代表されるニューラルネットワークモデルに関する研究が応用的面において盛んであるが、本課題はそれの理論解析を与えうる定式化となっている。それの理論解析を終え、現在論文を執筆している段階である。成果として、そのようなデータ圧縮における理論的な圧縮限界を与えたこと・解空間の性質に関する有用な知見を上げたことがあげられる。
この２つ目の研究により、逆問題・学習の研究に新たな視点・解析技術を導入することができた。一つ目と合わせて、９０％以上の達成率と考える。
|
| 今後の研究の推進方策 |
研究遂行中に現れた２つ目の課題である、疎性に注目したデータ圧縮法に関する研究は、まだやるべきことが多くあり、しばらくはこれに注力する予定である。具体的には、解探索のためのアルゴリズムの開発、現在主流に使われているニューラルネットワークに対応する層状に並べられたモデルの解析、である。特に一つ目のアルゴリズムの開発は、元々の研究計画にある逆問題の新規アルゴリズムの一つの例となるだろう。
アルゴリズムを実際に構成するためのアイデアとして、信念伝搬法の一種でランダム系の統計力学で培われた方法である、サーベイ伝搬法を応用することを予定している。また同じくランダム系の統計力学由来の方法であるシミュレーテッドアニーリングを用いることも予定している。この２つ目の方法は準安定状態にトラップされることやパラメータチューニングのスケジューリングに任意性があるなど、いくつかの不安要素のある方法だが、昨年度までに理解された解空間（＝基底選択の変数の空間）の性質の良さから、この方法がうまく働くことを予想している。その実証研究を行う予定である。
また層状に並べたモデルの解析は、やはりランダム系の統計力学を駆使することで行うことができる。その解析のアウトラインは既にロードマップができており、それにしたがって研究を遂行する。
|
