2019 Fiscal Year Annual Research Report
学習型ハードウェアを実現する深層学習アーキテクチャの開拓
| Project/Area Number |
19J20473
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
廣瀬 一俊 北海道大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Keywords | ニューラルネットワーク / 深層学習 / 量子化 |
|---|
| Outline of Annual Research Achievements |
IoTにおける情報処理の高度化に向けた「学習型ハードウェアを実現する深層学習アーキテクチャ」のために、エッジ端末での高効率・高精度に学習を行うアルゴリズムの創出に取り組む。エッジ環境では演算資源や電力に制約があるため、演算コストやメモリ使用量の大きい誤差逆伝播法による大規模な学習を行うことは現実的ではない。2019年度の研究では、誤差逆伝播法に頼らずに高い精度を保持し、メモリ使用量・演算量ともに軽量な学習手法を目指した。
ニューラルネットワークの誤差逆伝播法による学習は、逆伝播が演算されるまで順伝播時の活性値を保持しておかなければならないために演算依存関係のパスが長くなる。そのためにメモリ使用量が増加するという欠点がある。一方で、誤差逆伝播法とは異なるLocal Loss Functionと呼ばれる手法がある。これは新たにパラメータを付与した畳込み層などの副流を加えて、その先で局所的な損失関数を定義することで、逆伝播の長いパスを短くする仕組みである。そのため、モデルサイズは増加するが、省メモリでの学習を可能にする。この技術に着目し、省メモリで軽量な学習アルゴリズムの検討を行った。本検討では、パラメータの更新する箇所に制約を設け、パラメータに対して部分的な量子化を行った。その結果、モデルサイズを圧縮するとともに精度を落とさずにファインチューニングするが可能であるとわかった。通常の逆伝播と同じメモリ使用量で比較する場合、条件よっても異なるがおよそ半分の学区周回数で同精度を達成し、その後も学習を続けることでより高い精度を達成した。本年度はこの成果を国内学会にて発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の実施計画では、エッジ端末で高効率・高精度に推論を行うアルゴリズムを創出し、ハードウェアに親和性のある量子化と認識精度の関係を明らかにすることとしていた。2019年度ではLocal Loss Functionを導入し、学習モデルに更新箇所と量子化の制約をかけることで、通常の誤差逆伝播法よりも省メモリで学習可能な手法を提案し、量子化と認識精度の関係に対する知見を得ることができた。本研究課題「学習型ハードウェアを実現する深層学習アーキテクチャの開拓」では、アルゴリズムとハードウェアの両面からニューラルネットプロセッサを開拓することを目指しており、アルゴリズム面で進展した。そのため、おおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
現時点で、研究課題に対してアルゴリズム面での成果が得られている。2020年度では、ハードウェアとソフトウェアの双方から本研究課題に取り組む。当初の計画通りにここまでの議論で得られたアルゴリズム面の知見より、実環境での学習可能なアーキテクチャの構想の具体化に向けた検討を進めるとともに、それに付随する学習アルゴリズムについて再考をする。2021年度では与えられた制約下において最高効率で演算可能なニューラルネットワークのプロセッサを構築することを目指す。
|
