• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research of feature extractable image sensor for deep learning-based image recognition

Research Project

Project/Area Number 20K04630
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 21060:Electron device and electronic equipment-related
Research InstitutionRitsumeikan University

Principal Investigator

大倉 俊介  立命館大学, 理工学部, 准教授 (20808216)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Keywordsイメージセンサ / 低消費電力 / 特徴量 / 一次微分 / 物体検出 / 量子化 / 逐次比較型A/D変換器 / 画像認識 / 深層学習 / 機械学習 / CMOSイメージセンサ
Outline of Research at the Start

本研究は、Trillion Sensor社会に向けて、極低消費電力で動作するCMOSイメージセンサの実現を目的とする。
Trillion Sensor社会では、様々な社会問題を解決するために毎年1兆個を超えるセンサーが活用されると期待されている。
しかし、画像を検知するイメージセンサを大量かつ偏在的に用いるためには、データ通信量や消費電力の大幅な低減が必要となる。
そこで、近年、飛躍的な進展を遂げている深層学習を用いた画像認識と組み合わせることで、イメージセンサの出力データ量および消費電力、ひいては、深層学習における計算負荷を低減し、画像検知システム全体の低消費電力化を図る。

Outline of Annual Research Achievements

極低消費電力で動作する画像認識用CMOSイメージセンサを実現するため,2023年度は実証TEGの試作,および画像認識用ニューラルネットワークの検討を行った.人間が確認するなど詳細な解析に利用するRGBカラー画像を出力する際は物体検出精度が69.6%であるのに対して,AIによる画像認識に利用する特徴量データを出力する際は,物体検出精度が56.6%に低下するものの,イメージセンサから出力するデータ量を97.7%削減することを示した.また,出力データ量を削減することで,イメージセンサの消費電力を99%削減できる目途を得た.
- 物体検出モデルYOLOXを用いて,公開データセットCOCOを利用した物体検出精度の検出を行った.特徴量データとして,画素アレイ内でRGBカラー画像をグレースケール変換する手法を提案し,水平方向のエッジ抽出,A/D変換器での量子化,デジタルデータ出力の際のデータビニングにより,データ量を97.7%削減する.COCOデータセットをもとに,特徴量データセットを生成し,YOLOXに学習させることで,データ量が非常に小さい特徴量データであっても56.6%と高い検出精度を実現可能な目途を得た.
- 実証TEG試作中であるが,試作日程が遅延しており,チップ評価は2024年度に継続して実施する.また,画素のポテンシャル設計を行い,画素の駆動方法を切替えることで,通常のRGBカラー画像,および,画素アレイ内でグレースケール変換およびエッジ抽出が可能なイメージセンサ実現の目途を得た.画素に用いるトランジスタ数を,フォトダイオード1つあたり2個に抑えることで,一般的な民生用途で用いられるイメージセンサと同等の3μmピッチで実現可能な目途を得た.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

2023年度は実証TEGチップの評価を予定していたが,試作日程が遅延しており,チップ評価は2024年度に継続して実施する.

Strategy for Future Research Activity

2023年度は研究最終年度であったが,実証TEGチップの試作が遅延しているため,補助事業期間の延長を申請し,2024年度に継続してチップ評価を実施する.
また,これまでの研究成果の社会実装を目的として研究を推進していく予定である.

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (18 results)

All 2024 2023 2022 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (14 results) (of which Int'l Joint Research: 5 results,  Invited: 2 results) Patent(Industrial Property Rights) (3 results)

  • [Journal Article] Image Classification with SVM for CMOS Sensor Generating a Vector Image2023

    • Author(s)
      Oki Haruto、Yoshida Kota、Okura Shunsuke
    • Journal Title

      Journal of Signal Processing

      Volume: 27 Issue: 4 Pages: 97-101

    • DOI

      10.2299/jsp.27.97

    • ISSN
      1342-6230, 1880-1013
    • Year and Date
      2023-07-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] On-Chip Data Reduction and Object Detection for a Feature Extractable CMOS Image Sensor2024

    • Author(s)
      Yudai MORIKAKU, Ryuichi UJIIE, Daisuke MORIKAWA, Hideki SHIMA, Kota YOSHIDA, and Shunsuke OKURA
    • Organizer
      International Workshop on Advanced Image Technology
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Study on a Feature Extractable CMOS Image Sensor for Low-Power Image Classification System2023

    • Author(s)
      Shunsuke Okura, Ai Otani, Koshiro Itsuki, Yusuke Kitazawa, Kohei Yamamoto, Yu Osuka, Yudai Morikaku, and Kota Yoshida
    • Organizer
      International Image Sensor Workshop
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] エッジAI向けCMOSイメージセンサの検討:セキュリティ機能 と特徴量出力2023

    • Author(s)
      大倉俊介
    • Organizer
      デジタル・イメージング技術部会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Feature Extractable CMOS Image Sensor Pixel with RGB to Grayscale Conversion2023

    • Author(s)
      Shuhei OKUMURA, Yudai MORIKAKU, Yu OSUKA, Ryuichi UJIIE, Daisuke MORIKAWA, Hideki SHIMA and Shunsuke OKURA
    • Organizer
      International Meeting for Future of Electron Devices, Kansai
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 特徴量抽出可能なCMOSイメージセンサ画素に向けたグレースケール変換および縦縞低減可能な画素の検討2023

    • Author(s)
      穴見太一, 奥村周平, 森角勇大, 大須賀裕宇, 氏家隆一, 森川大輔, 島秀樹, 大倉俊介
    • Organizer
      映像情報メディア学会2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 輝度勾配を出力するCMOSイメージセンサのための畳み込みニューラルネットワークを用いた画像分類器の評価2023

    • Author(s)
      隠岐温人, 吉田康太, 大須賀裕宇, 大倉俊介
    • Organizer
      映像情報メディア学会2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 縦方向輝度勾配CMOSイメージセンサのための出力バイナリ化手法に関する検討2023

    • Author(s)
      中村稀信,森角勇大,大須賀裕,吉田康太,氏家隆一,森川大輔,島秀樹,大倉俊介
    • Organizer
      映像情報メディア学会2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] Image classification with SVM for CMOS sensor generating a vector image2023

    • Author(s)
      Haruto Oki, Kota Yoshida and Shunsuke Okura
    • Organizer
      2023 RISP International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP2023)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 特徴量抽出可能なCMOSイメージセンサを用いた高精度認識のための画素構成に関する検討2022

    • Author(s)
      隠岐温人, 大倉俊介
    • Organizer
      LSIとシステムのワークショップ2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 特徴量抽出可能なCMOSイメージセンサのためのニューラルネットワークを用いた画像分類2022

    • Author(s)
      山本航平, 吉田康太, 大倉俊介
    • Organizer
      情報センシング研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] Feature Extractable CMOS Image Sensor and Image Classification Using Convolutional Neural Network2022

    • Author(s)
      S. Okura, K. Yamamoto, Y. Osuka, Y. Morikaku, K. Yoshida
    • Organizer
      KIBME Fall Conference 2022
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] A Variable-Resolution SAR ADC with 10-bit Image Capturing Mode and 5-bit Feature Extraction Mode2022

    • Author(s)
      Koshiro Itsuki, Ai OTANI, Hiroaki OGAWA and Shunsuke OKURA
    • Organizer
      5th International Workshop on Image Sensors and Imaging Systems (IWISS2022)
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] CMOSイメージセンサ内で抽出可能な特徴量が画像認識に与える影響の解析2022

    • Author(s)
      大須賀裕宇, 大倉俊介
    • Organizer
      集積回路研究会(ICD)
    • Related Report
      2021 Research-status Report
  • [Presentation] 特徴量抽出可能な低コストCMOSカラーイメージセンサに関する検討2022

    • Author(s)
      奥村周平, 大倉俊介
    • Organizer
      集積回路研究会(ICD)
    • Related Report
      2021 Research-status Report
  • [Patent(Industrial Property Rights)] 固体撮像装置、画像処理システム及び電子機器2023

    • Inventor(s)
      氏家隆一,森川大輔,大倉俊介,森角勇大
    • Industrial Property Rights Holder
      日清紡マイクロデバイス株式会社,学校法人立命館
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2023-021064
    • Filing Date
      2023
    • Related Report
      2022 Research-status Report
  • [Patent(Industrial Property Rights)] 固体撮像装置及び画像処理システム2023

    • Inventor(s)
      大倉俊介,吉田康太,氏家隆一,森川大輔
    • Industrial Property Rights Holder
      日清紡マイクロデバイス株式会社,学校法人立命館
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2023-021056
    • Filing Date
      2023
    • Related Report
      2022 Research-status Report
  • [Patent(Industrial Property Rights)] 特許願2020

    • Inventor(s)
      大倉 俊介
    • Industrial Property Rights Holder
      学校法人立命館
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi