• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Research-status Report

Study on the rule representations and transparency of feature extracted images obtained by deep learning

Research Project

Project/Area Number 18K11481
Research InstitutionMeiji University

Principal Investigator

林 陽一  明治大学, 理工学部, 専任教授 (20189666)

Project Period (FY) 2018-04-01 – 2021-03-31
Keywordsディープラーニング / 深層学習 / ルール表現 / ブラックボックス / ルール抽出 / 予測モデル / アンサンブル学習 / 高精度分類器
Outline of Annual Research Achievements

2018年度は先ず不動点最適化理論を用いてSparsityとDiversityをもつ凸アンサンブル学習に対して最適性と収束性を解析的に示した点で大きな意義がある。
次に、ニューラルネット、アンサンブル、サポートベクタマシンからルール抽出を行う大規模な比較実験を行った。この論文ではアンサンブル・ニューラルネットワーク、boosted shallow treeおよびサポートベクターマシンに対して10重交差検証により分類精度の計算方法を統一した上で多くの分類ベンチマークデータセットの網羅的な分類能力を示した最初の論文である。
また、クレジットスコアリングを例題に分類精度と理解し易さを巧みにバランスさせて高精度優先分類器の提案を行った。既往の研究は分類精度のみを追求した研究が体制を占めていたが、本研究は理解度の充実も同時に実現した論文であり、現時点で当該論文を超えるパフォーマンスを示す論文は発表されていない。この点で大きな意義がある。センチメント分析に用いるサポートベクターマシンからルール抽出を方法も研究した。デジタルマーケティングへの応用意義がある。
純粋医学への応用論文も発表した。対象はNASH(脂肪肝)患者に対する非侵襲的な推定モデルを作ることに世界で初めて成功したものであり、肝生検(腎臓に針を刺して細胞を採取する検査)を行わずに予測モデルを作る肝臓学における人工知能の画期的な応用といえる。
2018年度は本研究課題の基礎的なメインテーマの一つである画像から専門家の知識を得て生成された比較的抽象度の高いデータをDBN(deep belief network)を用いて学習して得られたDNN(deep neural network)を簡潔なルール表現により透明化する方式を確立したした。この論文によりDBNのブラックボックス性の解消方式が示された点で画期的な意義がある。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

理論・アルゴリズムの構築および現実的な応用例への展開が全て予定以上に進捗している。

Strategy for Future Research Activity

2018年度は主として高精度分類器およびDBNの透明化に重点を置いたが、今後をより多く使われているCNN(Convolutional Neural network)への拡張を試みる。また、画像から生成されたより抽象度の低い画像への適用に付いても試みる。更に、CNNで学習して得られたDNNを簡潔な決定木に変換する方式についても検討する。これに成功すると画像・(時系列)数値混合データに対してルール表現による透明化が図ることが予想できる。

Causes of Carryover

研究用の消耗品費が当初予想より少なかったため。

2019年度の研究用の旅費、人件費およびその他に使用する。

  • Research Products

    (8 results)

All 2018 Other

All Int'l Joint Research (1 results) Journal Article (6 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 6 results,  Open Access: 3 results) Remarks (1 results)

  • [Int'l Joint Research] University of Geneva/Department of Computer Science(スイス)

    • Country Name
      SWITZERLAND
    • Counterpart Institution
      University of Geneva/Department of Computer Science
  • [Journal Article] Optimality and Convergence for Convex Ensemble Learning with Sparsity and Diversity based on Fixed Point Optimization2018

    • Author(s)
      Yoichi Hayashi, Hideaki Iiduka
    • Journal Title

      Neurocomputing

      Volume: 273 Pages: 367:372

    • DOI

      doi.org/10.1016/j.neucom.2017.07.046

    • Peer Reviewed
  • [Journal Article] A comparison study on rule extraction from neural network ensembles, Boosted shallow trees and SVMs2018

    • Author(s)
      Guido Bologna, Yoichi Hayashi
    • Journal Title

      Applied Computional Intelligence and Soft Computing

      Volume: 2018 Pages: ------

    • DOI

      https://doi.org/10.1155/2018/4084850

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] High accuracy-priority rule extraction for reconciling accuracy an interpretability in credit scoring2018

    • Author(s)
      Yoichi Hayashi, Tatsuhiro Oisi
    • Journal Title

      New Generation Computing

      Volume: 36 Pages: 393:418

    • DOI

      doi:10.1007/s00354-018-0043-5

    • Peer Reviewed
  • [Journal Article] The non-invasive prediction prediction of non-alcoholic steatohepatitis in Japanese patients with morbid obesity by artificial intelligence using rule extraction technology2018

    • Author(s)
      Daisuke Uehara, Yoichi Hayashi, Yosuke Seki, Satoru Kakizaki, Norio Horiguchi, Hiroaki Hashizume, Hiroki Tojima, Yuichi Yamazaki, Ken Sato, Motoyasu Kusano, Masanobu Yamada, and Kazunori Kasama
    • Journal Title

      World Journal of Hepatology

      Volume: 10 Pages: 934:943

    • DOI

      doi:10.4254/wjh.v10.i12.934

    • Peer Reviewed / Open Access
  • [Journal Article] Use of deep belief network for high-level abstraction small data sets using artificial intelligence with rule extraction2018

    • Author(s)
      Yoichi Hayashi
    • Journal Title

      Neural Computation

      Volume: 30 Pages: 3309:3326

    • DOI

      doi.org/10.1162/neco_a_01139.

    • Peer Reviewed
  • [Journal Article] A Rule Extraction Study from SVM on Sentiment Analysis, Big Data and Cognitive Computing2018

    • Author(s)
      6.Guido Bologna, Yoichi Hayashi
    • Journal Title

      Big Data and Cognitive Computing

      Volume: 2018 Pages: ------

    • DOI

      doi:10.3390/bdcc2010006

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Remarks] 明治大学理工学部人工知能研究室

    • URL

      http://www.ci.cs.meiji.ac.jp/en/index.html

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi