2018 Fiscal Year Research-status Report
Low power multi-bit weight vector operated SRAM cell array machine learning classifier for an era of AI anywhere
| Project/Area Number |
18K11230
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
山内 寛行 福岡工業大学, 情報工学部, 教授 (70425239)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 入出力セル型 / スケーリング / ミックスドシグナル機械学習 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、AIに必要な「特徴ベクトル×重みパラメータ」計算処理に伴う電力の削減に関するものであり、どこでもAIのための省電力化が直面する以下の課題解決をすることである。（１）上記計算処理をメモリ内ビット線上でアナログ計算する時のマージン。（２）特徴ベクトルをワード線の電圧振幅で多ビットするとマージンが劣化。（３）重みを多ビット化するには複数セルが必要になり面積が増加する。（４）表現ビット数を削減することが必要であるが表現誤差に伴う学習の不安定性や精度の劣化が発生する。当該年度では、上記課題を以下の方法で解決する技術を開発した。（１）メモリセルを６Ｔセルではなく入出力分離が可能な８Ｔセルに変更することで、出力であるビット線をお互いに短絡でき、２ビットの場合には６Ｔセルよりもむしろ小さくなることをことを発見した。（２）又、各セルのビット線はセルの記憶状態の安定性に影響を与えないので短絡可能である、時間軸に多ビット化する事が可能でワード線の電圧レベルの変調を回避できる。（３）重みの正負符号を８Ｔセルの８５％以上の面積を占有する６Ｔセルに相当する部分に記憶する。ベクトルの長さに相当する部分を残り１５％しか占有しない２Ｔセルで表現する。１５％のうち半分がトランジスタのチャンネル幅とすると、実質７％の部分がＮビット倍されるだけで実現できる。例え８ビットにしても全体は４９％の増加に抑制できる。６Ｔセルに比較して、２０％以下の面積で実現できる。（４）単純にサイン符号器で（+1,-1)で２値かせずに、他が提案しているスケーリング、バッチノーマリゼーションの技術以外に、特徴ベクトル方向毎のスケーリングを提案し、従来のスケーリングで課題だった小さな値が丸められる問題を解決できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の目標は、１）上記計算処理をメモリ内ビット線上でアナログ計算する時のマージンの問題を、メモリセルを６Ｔセルではなく入出力分離が可能な８Ｔセルに変更することで、出力であるビット線をお互いに短絡でき、２ビットの場合には６Ｔセルよりもむしろ小さくなることをことで解決した。（２）特徴ベクトルをワード線の電圧振幅で多ビットするとマージンが劣化に対しても、各セルのビット線はセルの記憶状態の安定性に影響を与えないので短絡可能である、時間軸に多ビット化する事が可能でワード線の電圧レベルの変調を回避できることを明らかにできた。（３）重みを多ビット化するには複数セルが必要になり面積が増加する課題に対して、重みの正負符号を８Ｔセルの８５％以上の面積を占有する６Ｔセルに相当する部分に記憶する。ベクトルの長さに相当する部分を残り１５％しか占有しない２Ｔセルで表現する。１５％のうち半分がトランジスタのチャンネル幅とすると、実質７％の部分がＮビット倍されるだけで実現できる。例え８ビットにしても全体は４９％の増加に抑制できる。６Ｔセルに比較して、２０％以下の面積で実現できることを明らかにした。（４）表現ビット数を削減することが必要であるが表現誤差に伴う学習の不安定性や精度の劣化が発生する課題に対して、単純にサイン符号器で（+1,-1)で２値かせずに、他が提案しているスケーリング、バッチノーマリゼーションの技術以外に、特徴ベクトル方向毎のスケーリングを提案し、従来のスケーリングで課題だった小さな値が丸められる問題を解決できた。
|
| Strategy for Future Research Activity |
（1）SRAMを用いたTEGの設計・試作・基本評価について
ファンドリーを利用して8T,7T－SRAMのTEG設計・試作・テスター評価を経験してきた共同先と実施する予定であった。現状を踏まえ、既に設計したSRAM設計資産を本研究用に修正するのに必要な設計工数、ファンドリーでの試作スケジュールの再確認が必要。TEG設計、特にレイアウト実施時に生まれるアイデアも含めて論文発表、知財申請をしていく予定であった。しかし、類似アイデアが国際的な他部署から提案され学会発表されたことが判明した。当初は当該年度の技術をＴＥＧする予定であったが、先に発表されたアイデアよりも異なり性能も優れたアイデアを考案する必要が出てきた。来年度は、その点を考慮し少なくとも半年はＴＥＧ化の計画をシフトし、新規性を持つアイデアを考案し検証することにする予定である。今までは大きな学会でしか動向を注視していなかったがアジアや欧州、南米にも広げて動向調査を強化する。
|
| Causes of Carryover |
増設メモリ、HDD交換、電源交換が、計算機の連続稼働の影響や別の目的で用意していた計算機が使用できることになり緊急性がなくなったためで実施されなかった。物品費として計上していた予算が執行されていないなどが理由で差が生じた。さらに、学会調査や論文調査による他の動きをさらに詳細に探る必要性が生じたのでその金額を次年度に活用する。
|
Research Products
(7 results)
