学習型ハードウェアを実現する深層学習アーキテクチャの開拓
| Project/Area Number |
19J20473
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Tokyo Institute of Technology (2020-2021)
Hokkaido University (2019) |
|---|
Principal Investigator |
廣瀬 一俊 東京工業大学, 科学技術創成研究院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2019-04-25 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥3,400,000 (Direct Cost: ¥3,400,000)
Fiscal Year 2021: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2020: ¥1,100,000 (Direct Cost: ¥1,100,000)
Fiscal Year 2019: ¥1,200,000 (Direct Cost: ¥1,200,000)
|
|---|
| Keywords | ニューラルネットワーク / 深層学習 / AIチップ / 量子化 |
|---|
| Outline of Research at the Start |
スマート社会の進展に伴い、ニューラルネットワークをIoT向けエッジ端末に導入して情報処理の高度化が期待されている。電力や演算資源に制約のあるエッジ端末で、学習を含むニューラルネットワークを低電力・高効率に行うことを目的とする。エッジで推論を行うプロセッサはあるが、学習を行う決定的な技術は存在していない。そのために、回路資源と電力を最大限活用するハードウェアアーキテクチャと、そのハードウェア性能を最大限に引き出すアルゴリズムの両面からニューラルネットプロセッサを開拓する。
|
| Outline of Annual Research Achievements |
深層ニューラルネットワーク(DNN)は要求される計算量とともに大きなモデルサイズが問題となっている。特にDNNモデルの重み等のパラメータをアクセラレータの外部メモリから読み出すための消費電力は非常に大きく、エッジ機器でのAI応用の発展に向けてこれを削減することが強く望まれている。2020年には軽量なDNNモデルを実現するアルゴリズムとして、重みを学習しないという特徴を持つ「隠れニューラルネットワーク理論」が提案された。
該当年度では、この隠れニューラルネットワーク理論に基づいた高効率な推論を実現するアーキテクチャを世界で初めて提案した。隠れニューラルネットワークの重みは乱数固定であるため、従来のDNNとは違い、学習時と同じ乱数生成器と乱数シード値があれば再生成することができ、重みの値を記憶しておく必要がなくなる。そこでハードウェアとして乱数生成器を配置し、乱数生成のためのシード値自体も実行時の内部パラメータから生成することで、重みに対する外部アクセスを完全にゼロにできることを見出した。また、重みの結合状態を表すスーパーマスクについては、0の値が多いことを利用した圧縮が可能であることを発見し、スーパーマスクを事前に圧縮してそれをチップ上で展開することにすれば、外部からの転送量を抑えられる。このように、重みとスーパーマスクからなる隠れニューラルネットワークのモデルに対して、重みの乱数生成回路とスーパーマスクの展開回路によってチップ上でモデルを構築することで、外部メモリアクセスを大幅に削減できる。
このアーキテクチャに基づいて、40nmプロセスでプロトタイプチップを設計・試作した。本チップはモデルの転送量を二値化ニューラルネットワークの半分に抑えながらも最大35.8TOPS/Wという高い演算効率を達成した。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(3 results)
