2017 Fiscal Year Annual Research Report
構造適応型Deep Learningによるビックデータ予測システムの開発
| Project/Area Number |
17J11178
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
鎌田 真 広島市立大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2017-04-26 – 2019-03-31
|
| Keywords | 深層学習 / Deep Belief Network / 構造適応型学習 / 知識獲得 |
|---|
| Outline of Annual Research Achievements |
これまでに学習中に隠れニューロン数及び隠れ層数を自動で増減する構造適応型深層学習法を開発した。開発した手法は画像ベンチマークテストに対し高い分類精度を示している。近年では画像分類だけでなく計測データや動画などの時系列ビッグデータの予測モデルの構築が求められている。また，高い分類精度を示す学習済みのネットワークに蓄積された重みやパラメタ等の情報から，推論や予測に用いる知識の抽出・可視化が必要である。このために，①時系列データの予測を実現するリカレント構造適応型学習方法を開発し，②深層学習に蓄積された知識をIF-THENルールとして抽出する。獲得した知識をGPUを持たない計算機においても活用することで学習後の深層学習の適用範囲を拡張し，③IoTによるビッグデータ分析として計測や医療の面での実用化を図る。
①では，時系列データの予測を行うために，リカレントニューラルネットワークの考えに基づき構造適応型深層学習の改良を行った。開発した手法をいくつかの時系列のベンチマークテストに適用したところ，既存の手法に比べて高い予測精度を示した。さらに，学習係数を学習中に適応的に変更することで，予測精度の改善を行った。
②では，①の手法で学習したネットワークからの知識獲得を行った。一般的に，学習済みネットワークの内部構造はブラックボックスと言われているが，ネットワークの内部構造や頻出度の高い入出力パタンを求め，推論に関するIF-THENルールを抽出した。抽出したルールを用いて推論を行ったところ，学習済みモデルを用いる場合に比べて予測精度はわずかに下がるものの，その計算時間を大幅に短縮することができ，タブレット端末等の安価なハードウェアでも動作した。
さらに，実データとして別途共同研究により収集された工場計測データと医療検診データを用いて，①，②で開発した手法の検証を行い，逐次分析するための基盤を構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２９年度では，①，②の基本的な学習アルゴリズムの開発・改良を行い，ベンチマークテストを用いた評価を行った。また，別途共同研究により収集されたビッグデータを用いた検証を行った。平成２９年度当初の目標は，全て達成することができ，概ね計画通りに進んでいる。ベンチマークテストに対する分類精度も，既存の手法より高い値を示している。特に，①で開発した手法は，学会賞を受賞し，ジャーナル論文に採択されるなど，外部からも高い評価を受けている。③のビッグデータの分析では，クラウドサーバ上でIoT機器から逐次収集されたデータを自動で学習し，タブレット端末やPC等で表示する仕組みと，医療マルチモーダルデータを高速に学習する仕組みについて，２件の特許出願を行った（特許出願に係る費用は，本研究費ではなく，県立広島大学の費用を使用）。一方で，開発した手法を用いて実データを継続的に収集し，分析することについてはまだ実施しておらず，平成30年度において行う予定である。
なお，研究計画時点では，上記②の知識獲得において，Distillation(蒸留)技術を用いて学習したネットワークの簡略化を行い，Neatと呼ばれる進化計算手法を用いて知識抽出を行うことを考えていたが，これらの手法を用いなかった。その理由として，Distillationによりネットワークを簡略化することで，獲得した知識の精度が著しく下がる場合があったからである。これに伴い，Neat手法も使用しなかった。そのため，計画を変更し，ネットワークの内部構造と入出力パタンの頻度に基づいて，IF-THENルールで表現される知識獲得を行った。開発した手法に変更はあったものの，得られた知識は安価なタブレット端末等でも高い精度で高速に動作するもので，期待していた成果が得られた。そのため，研究計画全体の遅延はないものと考えられる。
|
| Strategy for Future Research Activity |
平成２９年度では，基本的な学習アルゴリズムの開発・改良を行い，実データを分析するためのシステムの基盤を構築した。平成３０年度では，開発したシステムをもとに，より大規模で様々な種類のビッグデータを用いた検証を行う予定である。ここでは，別途共同研究により収集された工場計測データや医療検診データを扱う予定である。各データの種類や特徴に応じて，分析手法を調整しながら，手法の改良を行う。
また，①で開発した手法では，画像の分類および時系列データの予測が可能であるが，画像の中の特定の部位を検出するアルゴリズムを開発する。例えば，医療画像であれば，画像における腫瘍位置の特定である。ここでは，胸部X線画像のベンチマークCXR8を用いた評価を行うことを検討している。CXR8には，胸部X線画像に対する症状ラベルだけでなく，症状が生じている箇所の位置が記録されている。また，畳み込みニューラルネットワークでは，Single Shot Detector (SSD)等を用いた検出アルゴリズムが提案されているが，このような考えを①の本手法に適用する。これらを用いて，既存の手法よりも高い検出率を持つ深層学習法を開発する。さらに，検出結果をタブレット端末やPC等に表示するインターフェースを開発し，実用化に向けた研究開発を行う。
|
