2021 Fiscal Year Research-status Report
Research of feature extractable image sensor for deep learning-based image recognition
| Project/Area Number |
20K04630
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
大倉 俊介 立命館大学, 理工学部, 准教授 (20808216)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | CMOSイメージセンサ / 画像認識 / 低消費電力 |
|---|
| Outline of Annual Research Achievements |
極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため，2021年度はイメージセンサプロセスを用いた要素TEGの設計を行っている．カラーイメージセンサに対応した一次微分フィルタ画像を出力可能な画素設計を設計し，また，大規模データセットを用いて，一次微分フィルタ画像を用いた画像認識の検証を実施した．
- 2020年度には二次微分フィルタ画像を出力可能な画素を検討したが，画素内に６個のトランジスタを用いるため，光電変換感度が低下してしまうことが課題であった．今年度は，実効的に画素内のトランジスタを２個とする構造を検討し，同時にカラーイメージセンサにも対応可能な画素構成を検討した．この構成により，フルHDイメージセンサなどで広く用いられる３μｍピッチのレイアウトを実現することができた．半導体不足などのため，試作日程が遅延しているため，深層学習を用いた画像認識用途だけでなく，機械学習を用いた画像認識に向けた画素も追加して検討を行っている．
- 2020年度は深層学習を用いて二次微分フィルタ画像による人物の認識が可能であることを確認した．今年度はさらに，大規模なデータセットを用いて，人物以外の対象も含めた画像認識を，一次微分フィルタ画像を用いて実施した．その結果，公開されている学習済みニューラルネットワークを用いた認識率は5%程度と低くなることが分かった．そのため，低消費電力で出力可能な微分フィルタ画像は，人物などの限られた対象を認識してイベント検知として利用し，イベントを検知すると通常のカラー画像出力に切替えることで様々な対象を認識する用途に注力する必要がある．また，イベント検知時の画像認識システム全体の消費電力を低減するため，微分フィルタ画像で学習させる軽量なニューラルネットワークを用いた画像認識の検討を実施する．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2021年度は，要素TEGチップの試作を予定していたが，半導体不足などのため試作日程が遅延している．一方で，研究活動スタート支援(19K23524)では，イメージセンサの読み出しA/D変換器のみの試作予定に対して，画素を含めたイメージセンサチップ試作を実施し，当初の計画以上に進展させることができたため，このイメージセンサチップを用いて，本研究で予定していたチップ評価のためのボードの作成、評価装置の構築を実施することができた．
|
| Strategy for Future Research Activity |
当初の予定では，2021年度の要素TEGチップの試作結果を反映して，2022年度は実証TEGチップの試作を予定していた．しかし，試作日程が遅れているため，2022年度の試作チップに，複数の画素，低消費電力読み出し回路を実装し，要素技術検証を含めた実証TEGチップ試作を実施する．画素は(1)一次微分フィルタ画像，および(2)輝度勾配のヒストグラムを用いた機械学習のための縦横輝度勾配，を出力可能な画素の実装する．さらに並行して，微分フィルタ画像を用いて学習する軽量なニューラルネットワークによる画像認識，および，縦横輝度勾配信号を用いた機械学習による画像分類の検証を実施し，イメージセンサと画像認識の統合的な検討によるカメラシステム全体の低消費電力化検討を進める．
2023年度は実証TEGチップの評価，および，実証TEGチップを搭載した高精度イベント検知型の極低消費電力カメラシステムの設計を行い，深層学習を用いた画像認識を含めた評価を行う．
|
