| 研究課題/領域番号 |
17K06405
|
|---|
| 研究機関 | 徳島文理大学 |
|---|
研究代表者 |
河合 浩行 徳島文理大学, 理工学部, 教授 (20643159)
|
|---|
| 研究分担者 |
有本 和民 岡山県立大学, 情報工学部, 教授 (10501223)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | ニューラルネットワーク / ノーまりオフコンピューティング / エッジコンピューティング |
|---|
| 研究実績の概要 |
本研究は、メモリスタを用いた組込み用低電力ニューラルネットワークの基盤技術の確立を目的とする。本研究では、①メモリスタ技術を用いた組込み用低電力ニューラルネットワーク・アーキテクチャ、②提案アーキテクチャに適した学習手法・学習結果格納方法、③ノーマリーオフコンピューティング技術と同時発火抑制技術による低電力化技術について検討を行う。さらに、①～③の技術を組み合わせた統合評価環境を構築し、その効果を検証する予定である。平成30年度の研究実績は以下の通りである。
①メモリスタ技術を用いた組込み用低電力ニューラルネットワーク・アーキテクチャ検討：ニューラルネットワークのメモリスタ回路への実装に際して、メモリ利用効率を低下させないニューラルネットワークのコンパクション技術について検討した。
②学習機構：3層ニューラルネットワークを構築し、手書き文字認識データベースMNISTを用いて学習させ、学習済ネットワークが持つ重み情報の分布特徴を調べ、重み情報を省略した場合の認識率変動をシミュレーションにより評価した。今回用いた省略手法を適用することで、認識率への影響を抑えながら大幅な演算回数削減が可能であることをシミュレーションで確認した。
③低電力化機構：一般的に、シナプスアレイ中のすべてのシナプス結合は同時に動作する。この数10Aオーダーとなりうるピーク電流と微細化に伴うスタンバイ電流の増大は、組込み用途およびバッテリー駆動システムにおいて誤動作や電池寿命の短縮を引き起こす。メモリスタを用いた場合は、電源ON/OFFに伴う学習情報の退避・リロードが不要になることから、時間的・空間的細粒度電源ON/OFF制御を行うノーマリーオフコンピューティング技術導入により低電力化を図ることとし、重み情報に注目した空間的細粒度電源制御方式について検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
平成30年度の研究実績は以下の通りである。
①メモリスタ技術を用いた組込み用低電力ニューラルネットワーク・アーキテクチャ検討：メモリスタ方式の場合、固定された規模の大きい粒度でのメモリアレイに展開するために、ニューラルネットワークをコンパクションした場合、論理回路で構成するモデルに比べ、メモリスタの利用効率が下がってしまう。これを回避する方式として、ニューラルネットワーク入力データに対して前処理等を施して予めネットワーク規模を小さくすることで、コンパクション後のメモリスタの利用効率低下を最小限にする方式を検討した。
②学習機構：リアルタイム学習機能の実装について、汎化学習済ネットワークブロックと小規模なカスタマイズ専用ネットワークを最終層で結合させる構成をベースとして、リアルタイム学習で重みを更新する部分を限定する方式検討を行った。
③低電力化機構：3層ニューラルネットワークモデルをChainerを用いて作成し、MNISTデータを使い誤差伝搬学習を行わせた。学習後、重み係数精度を変化させた場合の認識率への影響を調べた結果、重み値の約80％を0値化しても認識率低下が5%程度で収まるとの知見が得られた。本知見は、実装すべきネットワーク規模の大幅な削減可能性を示唆するものであり、組み込み応用に非常に有効は技術となりうるものであり、当初計画通りの成果である。
④統合評価：本研究で考案するメモリスタ技術を用いた組込み用ニューラルネットワーク・アーキテクチャ、低電力化技術と学習機構を検証するために、統合評価のための対象アプリケーション検討を行った。本統合評価環境は、ＦＰＧＡボード及びシミュレーションを用いて模擬システムを構築し、提案技術の原理試作・評価を行うことを目標とする。
|
| 今後の研究の推進方策 |
R１年度における本研究課題の推進方策は以下の通りである。
①メモリスタ技術を用いた組込み用低電力ニューラルネットワーク・アーキテクチャ検討：R1年度は、学習結果情報であるシナプス結合ごとの結合重み情報を従来のようにデジタル値で保持せずにメモリスタの抵抗値として書き込み／保持する回路を検討し、シミュレーションにより基本ネットワークでの動作を検証する。なお、メモリスタ素子情報の入手ができない場合は、他の不揮発素子情報で代替して当初予定していた技術検討を進める。
②学習機構：R１年度は、メモリスタが持つ抵抗値分解能を超える用途に同一メモリアレイで対応できるように、精度拡張方式の方式検討を引き続き実施する。また、リアルタイム学習機能の実装方式についてもエッジコンピューティングに適した実装方式を検討する。
③低電力化機構：R１年度には、細粒度電源ON/OFFを効果的に行う手法として、学習結果であるSynapse重み情報を参照する方式を改良する。注目するニューロンの発火に対する個々のシナプス結合寄与度に注目する方式の効率よい実装方式について検討する。提案する低電力化技術はH31年度にシミュレーション／模擬評価ボードを使い動作検証を行う。
④統合評価：本研究で考案するメモリスタ技術を用いた組込み用ニューラルネットワーク・アーキテクチャ、低電力化技術と学習機構を検証するために、R１年度に統合評価環境を用いた評価を行い、技術改良を実施し、研究の完成度を高める予定である。
|
| 次年度使用額が生じた理由 |
Ｈ３０年度において、次年度使用額が生じた主な要因は、アーキテクチャ検討に時間を要したため、詳細仕様の検討を優先して評価ボード購入を次年度にシフトしたこと、および学会参加費の他予算充当である。
Ｒ１年度は、提案技術の原理試作と機能および有効性を評価する評価環境を用いた機能評価を予定しており、Ｈ３０年度からの持ち越し金と合わせて、当初目的達成をより高い精度で評価しうる評価環境の構築とそれを用いた評価を実施する予定である。
|
