2020 Fiscal Year Research-status Report
アナログ常微分方程式ソルバーを用いた超低消費電力深層学習専用チップの開発
| Project/Area Number |
20K11740
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
更田 裕司 国立研究開発法人産業技術総合研究所, エレクトロニクス・製造領域, 主任研究員 (30587423)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ニューラルネットワーク / 機械学習 / 音声認識 / キーワードスポッティング / 常微分方程式 / 低消費電力 / 集積回路 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、深層学習で従来用いられる計算原理とは全く異なる、常微分方程式に基づく技術（Neural ODE）を採用し、それを全てアナログ回路で実装した超低消費電力の深層学習専用LSIチップを開発する事を目標としている。その目標に向けて、本年度は、まず提案技術が有効となるアプリケーションの検討を行い、その結果、音声認識を対象とすることに決定した。この理由は次の2点である。1) 提案技術は、アナログ回路で計算を実行する技術であり、センサと直結できるようなアプリケーションと親和性が高く、マイクというセンサを使用する音声認識は最適である。2) 音声認識は、モバイル機器への搭載が進んでおり、低電力化への要望が強い。
一方、Neural ODEは、これまで音声認識の分野に適用されていなかった為、ハードウェア化の検討の前にまず、Neural ODEを用いて音声認識を行う為のニューラルネットワーク構造などアルゴリズム検討を行った。対象とする音声認識のタスクとしては、キーワードスポッティング（事前に定義したキーワードを音声中から検出）とした。キーワードスポッティングはスマートフォンやスマートスピーカーなどエッジデバイスで実行される事が通常で、低消費電力動作が求められる。従って、ニューラルネットワークのパラメータ数や計算量の削減が重要である。そこで、Neural ODEを適用することで、ニューラルネットワークのパラメータ数を削減する手法の提案を行った。本提案技術を用いることで、キーワードスポッティングの精度を維持しつつパラメータ数を68%削減できる。一方で、Neural ODEは、実行の際に常微分方程式を解く必要がある為、計算量が多いという課題があることも明らかになった。今後、常微分方程式のソルバーをハードウェア化する事で、本課題の解決を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の本年度目標は、提案技術が有効となるアプリケーションの決定と、ニューラルネットワーク構造などアルゴリズム検討を行うことであった。本年度は、提案技術のアプリケーションとして音声認識を対象とすることに決定した。さらに、音声認識向けにアルゴリズム検討を行い、従来技術に比べて、パラメータ数を68%削減できる手法の提案を行った。本提案手法については、論文誌で成果を発表した。このように、当初目標はほぼ達成しており、おおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
本研究課題では、音声認識を対象とする事にした。従来は、マイクから入力されるアナログ音声信号をデジタル変換し、デジタルで信号処理する事が通常であったが、本研究課題では、アナログ信号のまま計算を実行する事を目指す。2021年度は、アナログ回路で計算を実行する為の集積回路技術の検討、及び、それに基づく回路設計を行う予定である。
|
| Causes of Carryover |
2020年度は、新型コロナウィルスの影響で学会がオンライン開催になり、旅費の支出がなくなった為、次年度使用額が発生した。
2021年度は、試作チップの評価に必要な装置や部品類の購入、及び、学会参加費などに使用する計画である。
|
