2015 Fiscal Year Annual Research Report
積分表現理論によるディープニューラルネットの解析と設計指標の開発
Project/Area Number |
15J07517
|
Research Institution | Waseda University |
Principal Investigator |
園田 翔 早稲田大学, 先進理工学研究科, 特別研究員(DC2)
|
Project Period (FY) |
2015-04-24 – 2017-03-31
|
Keywords | ニューラルネット積分表現 / リッジレット変換 / ReLU / ウェーブレット変換 / ラドン変換 / 自律走行 / ブレーキシーン認識 / ディープラーニング |
Outline of Annual Research Achievements |
【理論研究】ReLUネットワークの積分表現理論 従来の積分表現理論を現代向けの設定に対して適用できるように拡張した。従来の積分表現理論は,ディープニューラルネット(DNN)で標準的に用いられているReLUと呼ばれる活性化関数に対応していなかったので,ReLUを含むリゾルキン超関数に対して積分表現理論が展開できることを示した。主定理を証明する過程では,高次元統計学,調和解析および機械学習の研究会にて中間的な内容を報告し,成果をまとめて雑誌論文として出版した。当該雑誌は調和解析にまつわる理論および応用の両分野で有力な雑誌のひとつであり,査読者の評価も“strongly recommended”であったことから,質の高い内容に仕上がったと考えている。 また,積分表現がウェーブレット変換とラドン変換に分解できることを解析的に示した。これまで,ニューラルネットは神経細胞の発火パターンを暗号的に捉える見方が主流であったが,そのパターンを生成する神経細胞の出現メカニズムにはラドン変換という秩序があることを明示したことになる。論文ではこの視点に基づき,再生公式の証明の別解を与えた。提案した枠組みは構成的であり,論文ではバックプロパゲーションを用いずにニューラルネットを学習するためのアルゴリズムも提案した。 さらに,当該結果を応用してDNN積分表現を部分的に計算した。この結果は論文投稿中である。 【応用研究】運転時ブレーキシーン認識システム開発 名古屋大学の加藤真平准教授と連携して,DNNに運転動画と車載機器通信ログを入力して,ブレーキを踏むべきかどうかを判別させる研究に取り組んだ。LiDARデータ(深度データ)に対してConvNetと呼ばれるDNNの一種を適用する方法を開発し,RGB運転動画を用いた場合と同等以上の性能が出ることを示した。得られた結果を国内の学会で発表した。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
【理論研究】では,DNNの積分表現理論を構成するにあたり,ReLUと呼ばれる活性化関数に対して積分表現理論を拡張し,また,デノイジングオートエンコーダーと(DAE)呼ばれるDNNの一種に対してDNN積分表現を計算した。これらの結果は,本研究の最終目標であるDNN設計ガイドラインを策定するための重要な基礎を与えるだけでなく,数学的な新しい発見を多く含んでいる。従って,理論研究に限れば当初の想定以上の結果が得られていると考えている。一方,【応用研究】では,当初の計画通り複数のDNNを比較検討する段階に入っており,概ね順調である。従って理論と応用を総合した評価は,概ね順調と考えている。 昨年度中に実施した研究の中には,論文化にまで至らなかった研究が複数ある。例えば,冒頭で述べたDAEに対する積分表現の計算結果や,積分表現から学習能力を理論評価する研究,積分表現を数値計算することで効果的な学習法を提案する研究である。これらはいずれもDNN設計ガイドラインを策定するための重要な足がかりとなる。これらの研究を並行して論文化できれば,当初の計画以上の進展が得られたものと考える。 DAEの積分表現を計算した結果,本研究のゴールのひとつである「なぜ深層構造は有効なのか」について,部分的な回答が得られた。また,ほか2つの未発表の結果のなかにもDNNのメカニズム理解に対して新たな視点を与えうるものがある。従って,今後の研究遂行にあたって将来の見通しは概ね楽観的と考えている。
|
Strategy for Future Research Activity |
【理論研究】では,DNNの積分表現を構築し,積分表現の数値計算を通じて効果的な学習アルゴリズムを提案し,積分表現の理論評価を通じてDNNを利用するためのガイドラインの策定を目指す。昨年度は,DNNに特有のReLUと呼ばれる構造に対して積分表現が計算できるように積分表現理論を拡張し,拡張された積分表現理論をさらにデノイジングオートエンコーダー(DAE)と呼ばれるDNNの一種に対して計算した。今年度は,まずDAEに対するDNN積分表現の計算結果を論文として出版する。また,得られたDNN積分表現を用いて,DNNの性能を理論的に評価する。評価は関数近似理論,辞書学習,集中不等式のいずれかを用いて可能であると考えている。さらに,得られた理論評価に対して数値的な評価を行い,DNNを利用するうえでのガイドラインとしてまとめる。DNNの性能評価に関する結果は適宜,学会で発表し,さらにそれらをまとめて論文として出版する。また,積分表現を離散化して数値計算することで,従来のランダムサーチよりも効率的な学習法が考えられる。これを精緻化し,新規学習法の提案というかたちで論文としてまとめる。 【応用研究】では,昨年度開発したアルゴリズムをベースとして,精度の向上を図る。昨年度は,自動車走行時の運転動画および深度データを入力として,ブレーキを踏むべきかどうかを判別させる運転シーンの識別問題に取り組んだ。運転動画は一般の画像データセットと比較して視点などに偏りがあることから,DNN学習で標準的に用いられている方法では過学習を起こす可能性があることが分かってきたので,意思決定の信用度を鑑みたアルゴリズムを開発する。
|
Research Products
(5 results)