2017 Fiscal Year Research-status Report
超複素数値化した深層学習の構築とその画像解析への応用
| Project/Area Number |
16K00248
|
|---|
| Research Institution | University of Hyogo |
|---|
Principal Investigator |
礒川 悌次郎 兵庫県立大学, 工学研究科, 准教授 (70336832)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松井 伸之 兵庫県立大学, 工学研究科, 特任教授 (10173783)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ニューラルネットワーク / 複素ニューラルネットワーク / 四元数 / 深層学習 / 可換四元数 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，超複素数における深層学習手法を開発するとともに，それを組み込みシステムへの実装ならびに画像解析への応用に供することを目的としている．そのため，達成すべき課題は，(1) 四元数・可換四元数に基づく深層学習方法の確立，(2) この深層学習による画像解析システムの構築・評価の二点に分けられる．平成29年度においては，主に(2)に関して研究を展開した．
(2)においては，前年度において開発した四元数に基づくエクストリーム学習器(Quaternionic Extreme Learning Machine; QELM)についての性能評価およびXtensa再構成プロセッサへの実装評価を行った．これらの結果は国内学会などにて報告を行った．得られた結果としては，四元数同士の演算における分岐処理，擬逆行列演算におけるレジスタへのロード・ストアの演算処理が性能向上を阻む要因であることが明らかとなった．現在，四元数演算の効率化ならびに浮動小数点演算の固定小数点化などを検討することにより性能向上を目指している．
関連研究として，複素数値化・四元数化を指向した構造を持つリカレント(回帰型)ニューラルネットワークにおける言語学習モデルの提案ならびに評価を行った．この結果は国際会議AROB2018にて発表を行った．現在，本結果を論文にまとめ投稿を行っているところであり，また複素数に基づくネットワーク構築を検討している．また，四元数ニューラルネットワークを適用する前に通常の実数型深層学習を用いた健康予測システムの構築・評価を行った．さらに，複素数・四元数により符号化されたホップフィールドネットワークにおける記銘パターンの擬似直交化を行う連想記憶システムの構築・評価を行った．本研究結果については，論文誌JAISCRに掲載された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
四元数エクストリーム学習器(QELM)は四元数に基づく深層学習において要素技術となりうるものであり，平成29年度についてはこのQELMの性能評価ならびに組み込みシステムにおける有効性を評価できた．さらに深層学習における性能評価を行うことが必要であると考えられる．
応用システムにおいては，まだ複素数値化・四元数化は実現できてはいないがリカレントニューラルネットワークの構築ならびにその言語モデル構築などを行うことができた．このネットワークを基にして複素数値化リカレントネットワークを構築することも重要であると考えている．
|
| Strategy for Future Research Activity |
深層学習の要素である畳み込み層およびプーリング層を構築しその性能評価を行うことが重要であると考えている．また，複素数・四元数ニューラルネットワークの工学応用としては異常検出や時系列信号解析などが考えられる．
|
| Causes of Carryover |
前年度において参加・発表を予定していた国際会議について申請者本人のスケジュールが合わず出席できなかったことが理由である．
今年度は計画最終年度に当たるため国内外の会議における成果公表にも注力する予定である．
|
Research Products
(5 results)
