2015 Fiscal Year Annual Research Report
ディープニューラルネットワークを用いる高効率適応学習の汎用的フレームワークの提案
| Project/Area Number |
15J02418
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
落合 翼 同志社大学, 理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2015-04-24 – 2018-03-31
|
| Keywords | 線形変換ネットワークの導入 / 行列ランクに基づいた分析 / ボトルネック構造の導入 |
|---|
| Outline of Annual Research Achievements |
本研究課題は、ディープニューラルネットワーク(DNN)を用いた，対象問題を限定しない一般的な適応学習フレームワークの構築を目指すものである。提案する適応学習法は、適応に必要となる処理をDNNの特定のパラメータ群に集約・局在化することで、少数のパラメータを用いて、より効果的に適応を行うというコンセプトに基づくものである。
本研究課題を遂行するための研究方針は、(1)複数のタスクに対する評価実験の実施、(2)DNNの内部挙動に着目した提案法の分析、(3)提案法のアルゴリズムの改良、といった3つの事項に大別される。予備実験の結果などを考慮し、昨年度は(2)と(3)の目標達成により焦点を当て研究に取り組んだ。昨年度の研究成果として、大きく分けて以下の3つが挙げられる。
(1)第一の改良手法、SAT-DNN-LTN法の提案。線形変換ネットワーク(LTN)を用いた適応の枠組みを提案法に新たに取り入れることで、適応性能のさらなる向上を達成した。また評価実験を通して、提案法が様々な規模のネットワークを使用した場合においても、安定して適用可能なものであることが確認された。
(2)適応能力とLTNのパラメータ数に関する行列ランクに基づいた分析。分析結果より、現状のLTNパラメータの中に含まれる冗長性を取り除くことで、適応に必要なパラメータ数を大きく削減し、提案法のコンセプトである機能局在化をさらに効率的に実現し得る可能性が示唆された。
(3)第二の改良手法、SAT-DNN-BN-LTN法の提案。(2)で述べた分析結果を基礎として、(1)で述べたSAT-DNN-LTN法に対しボトルネック構造を新たに導入することでさらなる改良を行った。評価実験の結果、改良手法は適応性能のさらなる改善を達成するとともに、改良前と比較して適応用パラメータ数を約94%削減することが確認された。また評価実験を通して、適応データ量の大小によらず、提案手法が安定して適応性能の向上に貢献し得ることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
昨年度は、提案する適応学習法のアルゴリズムの改良とその動作分析に焦点を当て研究を行った。研究成果として、認識性能の明確な向上とメモリコストの大幅な削減が達成された。これら研究成果は全て、本研究課題において提案する適応フレームワークにおいて、重要なコンセプトである「機能局在化」の概念をより効率的に実現出来るよう、アルゴリズムの改良を行った結果として得られたものである。このような根幹技術の性能向上は、本研究課題である「ディープニューラルネットワークを用いる高効率適応学習の汎用的フレームワーク」の構築を達成する上で、極めて重要なものである。
昨年度の研究成果については、国内会議や国際会議において随時報告を行った。特に、適応学習法の改良に関する成果については、当該研究分野で最も難易度の高い国際会議であるIEEE ICASSPにおいて、2本の論文が採択され、その発表に対しても高い評価を得ることが出来た。また、これらの成果に対する高い評価の証左として、IEEE関西支部・学生研究奨励賞を受賞したことなどが挙げられる。この賞は、IEEEの発行する論文誌や主催する国際会議において、特に優れた論文を発表したIEEE関西支部に属する学生会員に授与されるものである。
以上のような進捗状況からも、昨年度は研究課題の遂行に向けて、大きな技術的進展を成し遂げられたものと考えている。
|
| Strategy for Future Research Activity |
【研究実績の概要】でも述べたように、本研究課題を遂行するための研究方針は、(1)複数のタスクに対する評価実験の実施、(2)DNNの内部挙動に着目した提案法の分析、(3)提案法のアルゴリズムの改良、といった3つの事項に大別される。昨年度は特に、(2)と(3)の目標達成により焦点を当て研究に取り組んできた。結果として、認識性能の明確な向上とメモリコストの大幅な削減が達成されるなど、提案する適応学習法のアルゴリズムは着実に性能向上を成し遂げている。
このような背景から今後の研究の推進方策として、本年度は特に(1)の目標達成に向けて、評価実験環境の構築や評価実験の実施を行っていく予定である。まだ想定段階ではあるが、評価実験で利用するタスクとしては、ノイズ適応問題や残響適応問題といった、広い意味での環境適応タスクの利用を検討している。また、そうしたこれまでとは異なるタスクを扱うにあたっては、異なる構造を持つニューラルネットワークの利用が必要になることも十分に考えられる。本年度はタスクの多様性に加え、そうしたモデルの多様性が、提案するアルゴリズムにどのような影響を与えるのかについても評価していきたいと考えている。加えて、そうした実験過程で得られる知見に基づいて、(2)と(3)の研究方針についても、引き続き研究を継続していく予定である。
|
Research Products
(7 results)
