• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

積分表現理論によるディープニューラルネットの解析と設計指標の開発

Research Project

Project/Area Number 15J07517
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent informatics
Research InstitutionWaseda University

Principal Investigator

園田 翔  早稲田大学, 先進理工学研究科, 特別研究員(DC2)

Project Period (FY) 2015-04-24 – 2017-03-31
Project Status Completed (Fiscal Year 2016)
Budget Amount *help
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2016: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2015: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsニューラルネット積分表現 / 輸送解釈 / デノイジング・オートエンコーダー / ワッサースタイン幾何学 / 自律走行 / ブレーキシーン認識 / LiDAR / ディープラーニング / リッジレット変換 / ReLU / ウェーブレット変換 / ラドン変換
Outline of Annual Research Achievements

【理論研究】深層デノイジング・オートエンコーダーの積分表現理論
デノイジング・オートエンコーダー(DAE)の輸送理論解釈を展開した。昨年度は,浅いニューラルネットが近似できる関数クラスを明らかにした。今年度は,深層ニューラルネット(DNN)が具体的に何を近似しているかまで踏み込んだ。試行錯誤の末,DNNの一種であるDAEは,入力データ点を再配置する輸送写像とみなせることを発見した。つまり,DAEが近似しているものは輸送写像である。これは変分計算で導ける定理だが,数値実験によっても確認できる。輸送写像の積分表現を計算して,深層DAEの積分表現を得た。また,ワッサースタイン幾何学を用いて,輸送写像の極限を調べることで,無限層ニューラルネット(連続DAE)の性質を明らかにした。DAEはデータ分布のエントロピーを減らす方向に入力データを再配置する輸送作用があり,この作用は層を深くした方が顕著になることが分かった。つまり,浅いDAEと深層DAEでは得られる特徴量が異なることから,DAEは積極的に深層化すべきであることが分かる。このような輸送解釈は,DAEに限らず多くのDNNに対して可能であると考えられる。本研究の主結果は雑誌論文として投稿済である(arXiv:1605.02832)。また,同結果を国内で発表して学生最優秀プレゼンテーション賞を受賞した。このほか,積分表現を数値積分によって計算してニューラルネットを学習する方法についてパイロット的な結果が得られたので,学会で発表した。
【応用研究】自動車の自立走行システム開発
自動車走行時の運転動画および深度データを入力として,ブレーキを踏むべきかどうかをDNNに判別させる運転シーンの識別問題に取り組んだ。DNNが運転動画のどの部分に反応して意思決定を行ったのかを可視化する技術(サライエンシーマップ)を導入し,システムに解釈性を付与した。

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2016 Annual Research Report
  • 2015 Annual Research Report
  • Research Products

    (13 results)

All 2017 2016 2015 Other

All Journal Article (3 results) (of which Acknowledgement Compliant: 3 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (8 results) (of which Invited: 4 results) Book (1 results) Remarks (1 results)

  • [Journal Article] 積分表現とKernel HerdingによるNeural Networkの学習2017

    • Author(s)
      松原拓央,園田翔,村田昇
    • Journal Title

      信学技報

      Volume: 116 (500) Pages: 25-31

    • Related Report
      2016 Annual Research Report
    • Acknowledgement Compliant
  • [Journal Article] 深層デノイジング・オートエンコーダーの輸送理論解釈2016

    • Author(s)
      園田翔, 村田昇
    • Journal Title

      信学技報

      Volume: 116 (300) Pages: 297-304

    • Related Report
      2016 Annual Research Report
    • Acknowledgement Compliant
  • [Journal Article] Neural network with unbounded activation functions is universal approximator2015

    • Author(s)
      Sho Sonoda and Noboru Murata
    • Journal Title

      Applied and Computational Harmonic Analysis

      Volume: - Issue: 2 Pages: 233-268

    • DOI

      10.1016/j.acha.2015.12.005

    • Related Report
      2015 Annual Research Report
    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] 積分表現とKernel HerdingによるNeural Networkの学習2017

    • Author(s)
      松原拓央,園田翔,村田昇
    • Organizer
      IBISML研究会
    • Place of Presentation
      東工大
    • Year and Date
      2017-03-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] ディープラーニングの積分表現理論2017

    • Author(s)
      園田翔
    • Organizer
      数理人セミナー
    • Place of Presentation
      早稲田大
    • Related Report
      2016 Annual Research Report
    • Invited
  • [Presentation] 深層デノイジング・オートエンコーダーの輸送理論解釈2016

    • Author(s)
      園田翔, 村田昇
    • Organizer
      第19回 情報論的学習理論ワークショップ(IBIS2016)
    • Place of Presentation
      京都
    • Year and Date
      2016-11-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] Saliency Mapを用いたCNNブレーキシーン判別器の解析2016

    • Author(s)
      嶋田達之介, 園田翔, 村田昇, 加藤真平
    • Organizer
      第19回 情報論的学習理論ワークショップ(IBIS2016)
    • Place of Presentation
      京都
    • Year and Date
      2016-11-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] 深層ニューラルネットの積分表現理論2016

    • Author(s)
      園田翔
    • Organizer
      第29回 科研費新学術領域「多元計算解剖学」セミナー
    • Place of Presentation
      東京大
    • Related Report
      2016 Annual Research Report
    • Invited
  • [Presentation] LiDAR深度データを用いたCNNブレーキシーン認識2015

    • Author(s)
      嶋田達之介, 松原拓央, 園田翔, 村田昇, パトリシアオータル, 加藤真平
    • Organizer
      第18回 情報論的学習理論ワークショップ(IBIS2015)
    • Place of Presentation
      つくば国際会議場(茨城県つくば市)
    • Year and Date
      2015-11-25
    • Related Report
      2015 Annual Research Report
  • [Presentation] ReLUネットワークの積分表現理論2015

    • Author(s)
      園田翔, 村田昇
    • Organizer
      2015年度 科学研究費シンポジウム「大規模複雑データの理論と方法論:最前線の動向」
    • Place of Presentation
      筑波大学(茨城県つくば市)
    • Year and Date
      2015-11-16
    • Related Report
      2015 Annual Research Report
    • Invited
  • [Presentation] 深層学習のリッジレット解析にむけた取組み2015

    • Author(s)
      園田翔, 村田昇
    • Organizer
      2015 RIMS 共同研究 「ウェーブレット解析と信号処理」
    • Place of Presentation
      京都大学数理解析研究所 (京都府京都市)
    • Year and Date
      2015-11-09
    • Related Report
      2015 Annual Research Report
    • Invited
  • [Book] 深層ニューラルネットの積分表現理論2017

    • Author(s)
      園田翔
    • Total Pages
      215
    • Publisher
      早稲田大学博士論文(自費出版)
    • Related Report
      2016 Annual Research Report
  • [Remarks] 産総研人工知能セミナー第2回「機械学習の理論的側面」

    • URL

      https://unit.aist.go.jp/airc/docs/seminar02-sonoda.pdf

    • Related Report
      2015 Annual Research Report

URL: 

Published: 2015-11-26   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi