2020 Fiscal Year Research-status Report
Research of feature extractable image sensor for deep learning-based image recognition
| Project/Area Number |
20K04630
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
大倉 俊介 立命館大学, 理工学部, 准教授 (20808216)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | イメージセンサ / 低消費電力 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため，2020年度は主にシミュレーション設計を行っている．
横方向のエッジ画像を出力することを想定し，画素，読出し回路，画像認識のシミュレーションを実施した．
- 画素の構成を検討し，一般的な４トランジスタ構成の画素にトランジスタを２個追加することで横方向のエッジ画像を出力する目処を得た．また，デバイスシミュレーションの結果をもとに，横方向エッジを抽出するためのフィルタ係数を計算し，理想値に対して160mVのオフセットと2%の誤差が発生することが分かった．2%の誤差は画像認識に対して大きな影響を与えないが，画素読出し回路の負荷となるオフセットに関しては，今後低減の検討を行う．
- 横方向のエッジ画像を深層学習を用いて認識できることを確認した．画素の製造ばらつきによるフィルタ係数のばらつきとして10%の偏差を考慮してシミュレーションしたところ，98%と十分に高い認識率を確認した．さらに，エッジ画像が通常画像に対して信号範囲が小さいことに着目し，画像のビット分解能を5bitに低減しても同様に認識できることを確認した．
- 読出し回路の低消費電力化についてシミュレーション設計を実施した．従来の高画質画像を読み出すモードと画像認識用の特徴量画像を読み出すモードを切替え可能な構成を提案し，特徴量画像モードでは消費電力を95%削減できることを確認した．ここで，特徴量画像は整定誤差が大きくなるものの，画像信号で重要となる線形性の精度が確保できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
極低消費電力で動作する画像認識用CMOSイメージセンサを実現するための目処をシミュレーションで確認した．
|
| Strategy for Future Research Activity |
当初の計画通り，2020年度は，シミュレーション設計により画素構成を検討し，水平方向の輪郭画像を画素内部で生成可能なことの目処を得た．さらに，深層学習を用いて，水平輪郭画像が画素のフィルタ係数ばらつきを考慮しても低ビット分解能で分類可能であることを確認した．これに合わせて，画素読出し回路およびADCについて，(1)イベント検出時に人工知能が認識する特徴量画像を出力する低消費電力モードと(2)人間が確認する一般的な画像を出力する高画質モードの２つの動作モードを切替え可能な回路構成を検討した．
2021年度は2020年度に検討した画素および回路を実装する要素TEGチップの試作を行う．ここでは，画素を構成する素子のデバイス構造や素子サイズが異なる複数のサブ画素アレイを配置し，特徴量演算に適した構成の検証を目的とする．チップ試作においては，上記の2つの動作モードを効率的に切り替える画素制御の検討も行う．また，試作チップ評価のためのボードの作成，評価環境の構築も行う．
2022年度は要素TEGチップ評価，実証TEG設計およびボードカメラの検討を行う．要素TEGの測定結果から課題を抽出し，画素および画像認識に用いる深層学習ネットワークの構成にフィードバックする．また，イベント検出に適した画素および読出し回路の駆動方法を検討・設計し，実証TEGチップの試作を行う．
2023年度は実証TEGチップの評価，および，実証TEGチップを搭載した高精度イベント検知型の極低消費電力カメラシステムの設計を行い，深層学習を用いた画像認識を含めた評価を行う．
|
