積分表現理論によるディープニューラルネットの解析と設計指標の開発
| Project/Area Number |
15J07517
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Research Field |
Intelligent informatics
|
|---|
| Research Institution | Waseda University |
|---|
| Research Fellow |
園田 翔 早稲田大学, 先進理工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2015-04-24 – 2017-03-31
|
| Project Status |
Completed (Fiscal Year 2016)
|
| Budget Amount *help |
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2016: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2015: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | ニューラルネット積分表現 / 輸送解釈 / デノイジング・オートエンコーダー / ワッサースタイン幾何学 / 自律走行 / ブレーキシーン認識 / LiDAR / ディープラーニング / リッジレット変換 / ReLU / ウェーブレット変換 / ラドン変換 |
|---|
| Outline of Annual Research Achievements |
【理論研究】深層デノイジング・オートエンコーダーの積分表現理論
デノイジング・オートエンコーダー（DAE）の輸送理論解釈を展開した。昨年度は，浅いニューラルネットが近似できる関数クラスを明らかにした。今年度は，深層ニューラルネット（DNN）が具体的に何を近似しているかまで踏み込んだ。試行錯誤の末，DNNの一種であるDAEは，入力データ点を再配置する輸送写像とみなせることを発見した。つまり，DAEが近似しているものは輸送写像である。これは変分計算で導ける定理だが，数値実験によっても確認できる。輸送写像の積分表現を計算して，深層DAEの積分表現を得た。また，ワッサースタイン幾何学を用いて，輸送写像の極限を調べることで，無限層ニューラルネット（連続DAE）の性質を明らかにした。DAEはデータ分布のエントロピーを減らす方向に入力データを再配置する輸送作用があり，この作用は層を深くした方が顕著になることが分かった。つまり，浅いDAEと深層DAEでは得られる特徴量が異なることから，DAEは積極的に深層化すべきであることが分かる。このような輸送解釈は，DAEに限らず多くのDNNに対して可能であると考えられる。本研究の主結果は雑誌論文として投稿済である（arXiv:1605.02832）。また，同結果を国内で発表して学生最優秀プレゼンテーション賞を受賞した。このほか，積分表現を数値積分によって計算してニューラルネットを学習する方法についてパイロット的な結果が得られたので，学会で発表した。
【応用研究】自動車の自立走行システム開発
自動車走行時の運転動画および深度データを入力として，ブレーキを踏むべきかどうかをDNNに判別させる運転シーンの識別問題に取り組んだ。DNNが運転動画のどの部分に反応して意思決定を行ったのかを可視化する技術（サライエンシーマップ）を導入し，システムに解釈性を付与した。
|
| Research Progress Status |
28年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
28年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(13 results)
