| 研究課題/領域番号 |
19J20473
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 東京工業大学 (2020-2021)
北海道大学 (2019) |
|---|
研究代表者 |
廣瀬 一俊 東京工業大学, 科学技術創成研究院, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2019-04-25 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
3,400千円 (直接経費: 3,400千円)
2021年度: 1,100千円 (直接経費: 1,100千円)
2020年度: 1,100千円 (直接経費: 1,100千円)
2019年度: 1,200千円 (直接経費: 1,200千円)
|
|---|
| キーワード | ニューラルネットワーク / 深層学習 / AIチップ / 量子化 |
|---|
| 研究開始時の研究の概要 |
スマート社会の進展に伴い、ニューラルネットワークをIoT向けエッジ端末に導入して情報処理の高度化が期待されている。電力や演算資源に制約のあるエッジ端末で、学習を含むニューラルネットワークを低電力・高効率に行うことを目的とする。エッジで推論を行うプロセッサはあるが、学習を行う決定的な技術は存在していない。そのために、回路資源と電力を最大限活用するハードウェアアーキテクチャと、そのハードウェア性能を最大限に引き出すアルゴリズムの両面からニューラルネットプロセッサを開拓する。
|
| 研究実績の概要 |
深層ニューラルネットワーク(DNN)は要求される計算量とともに大きなモデルサイズが問題となっている。特にDNNモデルの重み等のパラメータをアクセラレータの外部メモリから読み出すための消費電力は非常に大きく、エッジ機器でのAI応用の発展に向けてこれを削減することが強く望まれている。2020年には軽量なDNNモデルを実現するアルゴリズムとして、重みを学習しないという特徴を持つ「隠れニューラルネットワーク理論」が提案された。
該当年度では、この隠れニューラルネットワーク理論に基づいた高効率な推論を実現するアーキテクチャを世界で初めて提案した。隠れニューラルネットワークの重みは乱数固定であるため、従来のDNNとは違い、学習時と同じ乱数生成器と乱数シード値があれば再生成することができ、重みの値を記憶しておく必要がなくなる。そこでハードウェアとして乱数生成器を配置し、乱数生成のためのシード値自体も実行時の内部パラメータから生成することで、重みに対する外部アクセスを完全にゼロにできることを見出した。また、重みの結合状態を表すスーパーマスクについては、0の値が多いことを利用した圧縮が可能であることを発見し、スーパーマスクを事前に圧縮してそれをチップ上で展開することにすれば、外部からの転送量を抑えられる。このように、重みとスーパーマスクからなる隠れニューラルネットワークのモデルに対して、重みの乱数生成回路とスーパーマスクの展開回路によってチップ上でモデルを構築することで、外部メモリアクセスを大幅に削減できる。
このアーキテクチャに基づいて、40nmプロセスでプロトタイプチップを設計・試作した。本チップはモデルの転送量を二値化ニューラルネットワークの半分に抑えながらも最大35.8TOPS/Wという高い演算効率を達成した。
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
