2023 Fiscal Year Research-status Report
Research of feature extractable image sensor for deep learning-based image recognition
| Project/Area Number |
20K04630
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
大倉 俊介 立命館大学, 理工学部, 准教授 (20808216)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | イメージセンサ / 低消費電力 / 特徴量 / 一次微分 / 物体検出 / 量子化 |
|---|
| Outline of Annual Research Achievements |
極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため，2023年度は実証TEGの試作，および画像認識用ニューラルネットワークの検討を行った．人間が確認するなど詳細な解析に利用するRGBカラー画像を出力する際は物体検出精度が69.6%であるのに対して，AIによる画像認識に利用する特徴量データを出力する際は，物体検出精度が56.6%に低下するものの，イメージセンサから出力するデータ量を97.7%削減することを示した．また，出力データ量を削減することで，イメージセンサの消費電力を99%削減できる目途を得た．
- 物体検出モデルYOLOXを用いて，公開データセットCOCOを利用した物体検出精度の検出を行った．特徴量データとして，画素アレイ内でRGBカラー画像をグレースケール変換する手法を提案し，水平方向のエッジ抽出，A/D変換器での量子化，デジタルデータ出力の際のデータビニングにより，データ量を97.7%削減する．COCOデータセットをもとに，特徴量データセットを生成し，YOLOXに学習させることで，データ量が非常に小さい特徴量データであっても56.6%と高い検出精度を実現可能な目途を得た．
- 実証TEG試作中であるが，試作日程が遅延しており，チップ評価は2024年度に継続して実施する．また，画素のポテンシャル設計を行い，画素の駆動方法を切替えることで，通常のRGBカラー画像，および，画素アレイ内でグレースケール変換およびエッジ抽出が可能なイメージセンサ実現の目途を得た．画素に用いるトランジスタ数を，フォトダイオード1つあたり2個に抑えることで，一般的な民生用途で用いられるイメージセンサと同等の3μmピッチで実現可能な目途を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2023年度は実証TEGチップの評価を予定していたが，試作日程が遅延しており，チップ評価は2024年度に継続して実施する．
|
| Strategy for Future Research Activity |
2023年度は研究最終年度であったが，実証TEGチップの試作が遅延しているため，補助事業期間の延長を申請し，2024年度に継続してチップ評価を実施する．
また，これまでの研究成果の社会実装を目的として研究を推進していく予定である．
|
| Causes of Carryover |
実証TEG試作中であるが，試作日程が遅延しており，チップ評価を2024年度に継続して実施する．
|
