A sparse texture analysis method using deep learning

• Project Area: Initiative for High-Dimensional Data-Driven Science through Deepening of Sparse Modeling
• Project/Area Number: 16H01542
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: The University of Electro-Communications
• Principal Investigator: 庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
• Project Period (FY): 2016-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2017: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2016: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: びまん性肺疾患識別 / 特徴量選択 / 深層学習 / 特徴量の可視化 / ディープラーニング / 特徴量解析 / テクスチャ解析 / ディープコンボリューションネット / スパース特徴選択 / 温度交換MCMC法 / 表現学習 / 構造推定

Outline of Annual Research Achievements

本研究は，医療画像などにおいて解析困難となるテクスチャ状の画像データに対し，そのテクスチャ構造を表現する有効な因子を抽出することによる構造理解の促進を目的としている．第二期研究では，第一期研究時に提案している DCNN を用いた転移学習方法を発展させるとともに，DCNN内部の状態表現を理解するために，従来の “ハンドデザインした特徴量＋SVMのような識別機械” といった機械学習手法で構築されるシステムとDCNNの内部状態を対応させることを試みた．このため，第二期研究は，以下のサブテーマを設定した．
1) 医療画像などのテクスチャ状画像データに対して，より高精度な識別が行える深層学習 (Deep Learning: DL)等 を用いた表現を構築し，DL 内部のデータ表現からどのようなテクスチャデータが識別に有効に寄与しているかを検討した．この結果，びまん性肺疾患画像の識別問題において少数データからでも高精度な識別装置の構築が可能であることを示した．また識別時に画像中のどの部分が識別に有効に作用しているかを示すことも示すことができた．
2) 従来のテクスチャ特徴量を用いた判別問題に対して，L1制約型のスパースモデリングや， Approximated Exhaustive Search (AES)-SVM 法をといった特徴選択手法を適用し，有効な特徴量を選択し，どのような特徴が，識別に関して有効に寄与しているかを検討した．この結果，従来の L1 制約を用いた識別装置はハイパーパラメータの選択に敏感なため，AES-SVM のような全数検索ベースの近似手法が良い成果を出すことが示せた．
更に，これらの課題から得られる特徴量自体を比較し，有効な特徴量を抽出することを検討した．

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] 1)Simultaneous Estimation of Nongaussian Components and Their Correlation Structure (2017)
  • Author(s): Hiroaki Sasaki, Michael U. Gutmann, Hayaru Shouno, Aapo Hyvarinen
  • Journal Title: Neural Computation Volume: 29 Issue: 11 Pages: 1-38
  • DOI: 10.1162/neco_a_01006
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] 2)Support Vector Machine Histogram: New Analysis and Architecture Design Method of Deep Convolutional Neural Network (2017)
  • Author(s): Satoshi Suzuki, Hayaru Shouno
  • Journal Title: Neural Processing Letters Volume: 1 Issue: 3 Pages: 1-16
  • DOI: 10.1007/s11063-017-9652-0
  • Peer Reviewed
• [Journal Article] 脳情報科学と人工知能 -ネオコグニトロンからDeep Learningへ- (2017)
  • Author(s): 本武陽一，庄野逸，田村弘，岡田真人
  • Journal Title: 情報処理 Volume: 59 Pages: 42-47
• [Journal Article] ディープラーニングの基礎とその関連技術 (2017)
  • Author(s): 庄野 逸
  • Journal Title: 日本医用画像工学会誌 Volume: 35 Pages: 180-186
  • NAID: 130006108052
• [Journal Article] ディープラーニングの概要と医療分野への応用 (2017)
  • Author(s): 庄野 逸
  • Journal Title: インナービジョン Volume: 32 Pages: 7-9
• [Journal Article] 2 段階転移学習を用いたディープコンボリューションネットの医用画像認識 (2017)
  • Author(s): 庄野逸，鈴木藍雅，鈴木聡志，木戸尚治
  • Journal Title: 日本神経回路学会誌 Volume: 24(1)
  • NAID: 130006832269
  • Acknowledgement Compliant
• [Journal Article] スパースモデリングの歴史と基本技術 (2016)
  • Author(s): 庄野 逸
  • Journal Title: 電子情報通信学会誌 Volume: 99(5) Pages: 376-380
  • Acknowledgement Compliant
• [Journal Article] An application of deep learning for medical image analysis (2016)
  • Author(s): 庄野 逸，鈴木 聡志，木戸 尚治
  • Journal Title: Medical Imaging and Information Sciences Volume: 33 Issue: 4 Pages: 75-80
  • DOI: 10.11318/mii.33.75
  • NAID: 130006846692
  • ISSN: 0910-1543, 1880-4977
  • Acknowledgement Compliant
• [Presentation] Generative Model of Textures using Hierarchical Probabilistic Principal Components (2017)
  • Author(s): Aiga Suzuki, Hayaru Shouno
  • Organizer: Parallel Distributed Processing Techniques and Applications
  • Int'l Joint Research
• [Presentation] Comparison of Feature Selection Method for Diffuse Lung Disease (2017)
  • Author(s): Satoshi Ono, Makoto Koiwai, Hayaru Shouno, Shoji Kido
  • Organizer: Parallel Distributed Processing Techniques and Applications
  • Int'l Joint Research
• [Presentation] A study on Visual Interpretation of Network in Network (2017)
  • Author(s): Satoshi Suzuki, Hayaru Shouno
  • Organizer: International Joint Conference on Neural Networks
  • Int'l Joint Research
• [Presentation] Group Dropout Inspired by Ensemble Learning. (2016)
  • Author(s): Kazuyuki Hara, Daisuke Saitoh, Takumi Kondou, Satoshi Suzuki, Hayaru Shouno
  • Organizer: ICONIP 2016
  • Place of Presentation: 京都大学（京都）
  • Year and Date: 2016-10-16
  • Int'l Joint Research
• [Presentation] Group Dropout Inspired by Ensemble Learning (2016)
  • Author(s): Satoshi Suzuki, Hayaru Shouno
  • Organizer: ICONIP 2016
  • Place of Presentation: 京都大学（京都）
  • Year and Date: 2016-10-16
  • Int'l Joint Research
• [Presentation] Analysis of Dropout Learning Regarded as Ensemble Learning (2016)
  • Author(s): Kazuyuki Hara, Daisuke Saitoh, Hayaru Shouno
  • Organizer: ICANN 2016
  • Place of Presentation: Barcelona (Spain)
  • Year and Date: 2016-09-06
  • Int'l Joint Research
• [Presentation] Feature Selection for Diffuse Lung Disease using Exchange Markov Chain Monte-Carlo Method (2016)
  • Author(s): Makoto Koiwai, Nodoka Iida, Hayaru Shouno, Shoji Kido
  • Organizer: PDPTA2016
  • Place of Presentation: Las Vegas (USA)
  • Year and Date: 2016-07-25
  • Int'l Joint Research
• [Presentation] rchitecture Design of Deep Convolutional Neural Network for Diffuse Lung Disease Using Representation Separation Information (2016)
  • Author(s): Satoshi Suzuki, Nodoka Iida, Hayaru Shouno, Shoji Kido
  • Organizer: PDPTA2016
  • Place of Presentation: Las Vegas (USA)
  • Year and Date: 2016-07-25
  • Int'l Joint Research
• [Book] AI白書2017～人工知能がもたらす技術の革新と社会の変貌～ (2017)
  • Author(s): 独立行政法人情報処理推進機構 AI白書編集委員会
  • Total Pages: 360
  • Publisher: 株式会社角川アスキー総合研究所
  • ISBN: 9784048996075