2021 Fiscal Year Annual Research Report
A study on a high efficiency training architecture for an edge-AI device
| Project/Area Number |
21J11958
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
金子 竜也 北海道大学, 情報科学院, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Keywords | 機械学習 / エッジAI / FPGA / 最適化手法 / 低電力 |
|---|
| Outline of Annual Research Achievements |
2021年度前半の研究では前年度に提案したコンピューティングインメモリ（CIM）デバイス向けの学習アルゴリズムを実行するハードウェアアーキテクチャの提案を行った．所属研究室によって開発された，CIMデバイスとFPGAが一体化したボード上に提案アーキテクチャを実装し評価を行った．前年度の提案ではシミュレーション上で分類，線形回帰，画像認識の3種類のタスクを用いて評価を行っており，実機動作による性能がシミュレーションと同等の性能を得ていることを確認し国内学会でのポスター発表を行った．この成果に，消費電力の検討を加えて，電子情報通信学会の論文誌に投稿中である．
2021年度後半の研究では，学習アルゴリズムの中でも最適化手法に関する研究を行った．学習アルゴリズムは誤差逆伝播法と最適化手法とで構成されている．近年ではエッジに向けた学習アルゴリズムの研究が登場しているが，主として対象となっているのは誤差逆伝播法に関するものである．最適化手法に関しては最も単純な手法である確率的勾配降下法（SGD）やそれに慣性を加えたMomentumSGDという手法が用いられている．強化学習のような，より複雑なタスクでは高度な最適化手法を用いる必要があること，高度な最適化手法を用いることによる学習回数の削減は消費電力の削減にも寄与するということに着目し．エッジに向けたSGDより高度な最適化手法である"Holmes"を提案した．提案手法はMomentumSGDの慣性パラメータを対数量子化することで省メモリ化を果たした．また，高性能化も達成しており手書き文字認識のデータセットタスクでは，95%の認識性能を達成するまでに必要な学習回数をMomentumSGDよりも最大1/4にまで削減可能であることを示し，この成果を国内学会にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度では当初の予定とは異なり，その特性から低消費電力での演算が可能とすることでエッジでの処理に適している不揮発性メモリを用いたコンピューティングインメモリ（CIM）デバイスに向けた学習アルゴリズムの提案を行った．これは実空間での応用を考えた際に不揮発性のCIMデバイスの方がより優れていると考えたためである．2021年度前半にかけて本CIMデバイスを対象とした学習アルゴリズムとハードウェアアーキテクチャの研究とFPGAへの実装を行った．
上記研究と並行して強化学習に向けた学習アルゴリズム・アーキテクチャの研究を後輩を主体としたチームで取り組んだ．本研究から強化学習では，画像認識のようなタスクよりも高度な最適化手法が必要であることが確認できた．今までに考案してきた最適化手法は最も単純な確率的勾配降下法 (SGD)を基にしたものであった．より高度な最適化手法ということからSGDに慣性を導入することで性能向上を果たすMomentum SGDに関する研究を行った．このMomentum SGDに関する研究から，軽量化と高性能化を両立する学習アルゴリズムである"Holmes"の着想に至った．以上より，教師あり学習から強化学習まで幅広く対応するエッジAIの学習アルゴリズム・アーキテクチャ研究は概ね順調であると言える．
|
| Strategy for Future Research Activity |
現在提案最適化手法である"Holmes"のハードウェアアーキテクチャの考案を進めている．また，"Holmes"では対数量子化を施す対象は慣性パラメータであったが，これを勾配計算にも適用することで更なる高性能化を達成する試みである．2022年度以降ではこの研究で得られるソフトウェアとハードウェアの知見を相互に活用し各種学会での発表を予定している．
|
