2020 Fiscal Year Annual Research Report
学習型ハードウェアを実現する深層学習アーキテクチャの開拓
| Project/Area Number |
19J20473
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
廣瀬 一俊 東京工業大学, 工学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 深層学習 |
|---|
| Outline of Annual Research Achievements |
IoT端末での情報処理の高度化やプライバシーに関わる情報の保護に向けて、エッジ端末においてニューラルネットワークの推論だけではなく学習を行うことが期待されている。エッジ環境では演算資源や電力に制約があるため、演算コストやメモリ使用量が大きい異誤差逆伝播法による大規模な学習を行うことは現実的ではない。「学習型ハードウェアを実現する深層学習アーキテクチャ」に向けて、エッジ端末での高効率・高精度に学習を行うアルゴリズムの創出に取り組む。
2020年度の研究では、エッジ環境での軽量な学習手法を提案した。対象としたネットアーキテクチャは近年注目を浴びているMulti-exit architectureである。このアーキテクチャは一般的なネットワークアーキテクチャと比べて出口(分類器)が複数あるという特徴を持つ。このモデルをエッジでファインチューニングするという状況下では、通常のモデルに比べて計算量が増えるという問題が発生する。通常のモデルでは最終層の全結合近辺をファインチューニングすることで精度が回復するが、Multi-exit architectureにおいては学習すべき出口が多数あるため、単純計算で(出口数)倍のファインチューニングコストが必要となる。ここで着目した点は、学習を行った出口と学習を行わなかった出口の差である。この差をアンサンブルに活用することを考える。一般的にアンサンブルでは、複数のモデルの出力を平均化することによってロバストで安定した結果を得る。このことから、ファインチューニングする出口を意図的に制限することで、ファインチューニングの前後で多様性が発生し、アンサンブルの入力として活用する手法を提案した。CIFARやImageNetを用いた評価の結果、少ない学習量で認識精度の向上を確認した。この成果をまとめ、論文誌へ投稿し、採録となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の実施計画では、ニューラルネットワークの学習における演算量や必要となる学習データ量を削減しつつ、エッジ端末において低電力動作可能な学習アルゴリズムを考案することとしていた。該当年度では、対象とするモデルのターゲットをMulti-exit architectureに絞り、ファインチューニングする出口を意図的に制限し、出口間出力をアンサンブルとして活用する手法を提案しており、少ない学習量で認識精度の向上を確認した。計画段階で想定していた手段とは異なるが、学習の演算量を削減するという目的は達成した。
本研究課題「学習型ハードウェアを実現する深層学習アーキテクチャの開拓」としての進捗状況では、アルゴリズムとハードウェアの両面からニューラルネットプロセッサを開拓することを目指しており、ハードウェア面についてはまだ取り組めていないが、アルゴリズム面での進展があった。そのため、おおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
現時点で、研究課題に対してアルゴリズム面での成果が得られている。次年度は、ハードウェア面では低ビットに量子化されたニューラルネットワークを高効率に演算可能なプロセッサを構築するとともに、アルゴリズム面では本プロセッサで演算を行うニューラルネットワークをこれアルゴリズムの両面から「学習型ハードウェアを実現する深層学習アーキテクチャ」として完遂することを目指す。これまで取り組みを行ってきた量子化だけではなく疎なニューラルネットワークにも着目し、高効率化を図る。あわせて、学会や研究会への参加や論文の公刊といった活動を継続的に行う。
|
