Functional biomedical imaging with multi-aperture and multi-tap CMOS image sensors

• Project/Area Number: 18H01497
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 21060:Electron device and electronic equipment-related
• Research Institution: Shizuoka University
• Principal Investigator: Kagawa Keiichiro 静岡大学, 電子工学研究所, 教授 (30335484)
• Co-Investigator(Kenkyū-buntansha): 津村 徳道 千葉大学, 大学院工学研究院, 准教授 (00272344) ; 小室 孝 埼玉大学, 理工学研究科, 教授 (10345118)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000); Fiscal Year 2020: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2019: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2018: ¥9,230,000 (Direct Cost: ¥7,100,000、Indirect Cost: ¥2,130,000)
• Keywords: CMOSイメージセンサ / マルチタップ画素 / 空間周波数領域イメージング / マルチ露光レーザースペックル血流イメージング / マルチアパーチャカメラ / マルチタップ / 機能的生体イメージング

Outline of Final Research Achievements

The architecture of the programmable space- and time-division multiplexed integrated camera and multi-aperture multi-tap CMOS image sensor as its core device for real-time imaging has been established. An 2x2-aperture four-tap CMOS image sensor that can perform the multi-band spatial frequency domain imaging (SFD) and multi-exposure laser speckle contrast blood flow imaging (MELSCI) concurrently has been designed and fabricated. Its operation was confirmed experimentally.

Academic Significance and Societal Importance of the Research Achievements

カメラに用いられるイメージセンサは用途に応じて必要とされる多様な情報を，制御された光投影と連携して様々な方法で一度に撮影することが求められる．生体イメージングはその最たる例である．例えば，組織の代謝・3次元構造，体液のかん流などの同時計測による総合判断が求められるため，同一部位を構造光照明やコヒーレント照明を用いて複数の計測法により同時計測するマルチモーダルイメージングが不可欠である．本研究は，投影光学系との密接な連携とマルチモーダル計測に対応した，高いプログラム性をもつ新規の集積化カメラアーキテクチャおよびコアデバイスであるイメージセンサの新規アーキテクチャを提案・実証したことに意義がある．

Research Products

• [Int'l Joint Research] University of California, Irvine(米国)
• [Int'l Joint Research] Linkoping University(スウェーデン)
• [Int'l Joint Research] University of California, Irvine(米国)
• [Int'l Joint Research] Linkoping University(スウェーデン)
• [Int'l Joint Research] University of California, Irvine(米国)
• [Int'l Joint Research] Linkoping University(スウェーデン)
• [Journal Article] [Invite Paper] Functional Imaging with Multi-tap CMOS Pixels (2021)
  • Author(s): Kagawa Keiichiro
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 9 Issue: 2 Pages: 114-121
  • DOI: 10.3169/mta.9.114
  • NAID: 130008020067
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] Decay behavior and optical parameter identification for spatial-frequency domain imaging by the radiative transport equation (2020)
  • Author(s): Machida Manabu、Hoshi Yoko、Kagawa Keiichiro、Takada Kazuki
  • Journal Title: Journal of the Optical Society of America A Volume: 37 Issue: 12 Pages: 2020-2031
  • DOI: 10.1364/josaa.402124
  • NAID: 120007143499
  • Peer Reviewed
• [Journal Article] Multi-exposure laser speckle contrast imaging using a video-rate multi-tap charge modulation image sensor (2019)
  • Author(s): Sivakumar Panneer Selvam、Kagawa Keiichiro、Crouzet Christian、Choi Bernard、Yasutomi Keita、Kawahito Shoji
  • Journal Title: Optics Express Volume: 27 Issue: 18 Pages: 26175-26175
  • DOI: 10.1364/oe.27.026175
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] A multi-aperture multi-tap image sensor for simultaneous multi-band SFDI and multi-exposure laser speckle contrast blood flow imaging (2021)
  • Author(s): Keiichiro Kagawa, Gordon Kennedy, Adrien Ponticorvo, Iori Shibata, Keita Yasutomi, Shoji Kawahito, Jun Tanida, Christian Crouzet, Bernard Choi, and Anthony Durkin
  • Organizer: Photonics West 2021
  • Int'l Joint Research
• [Presentation] Portable visible and near-infrared spatial frequency domain imaging system to measure skin reactivity in response to noxious heating using a multi-spectral compound eye camera (2021)
  • Author(s): Nandan Kumar Das, Saad Nagi, Keiichiro Kagawa, Jun Tanida, Rolf Saager
  • Organizer: Photonics West 2021
  • Int'l Joint Research
• [Presentation] Wide-field quantitative biomedical imaging based on multi-tap CMOS image sensors (2020)
  • Author(s): Keiichiro Kagawa
  • Organizer: Optics & Photonics Taiwan International Conference (OPTIC2020)
  • Int'l Joint Research / Invited
• [Presentation] Motion-artifact-free multi-spectral spatial frequency domain imaging with ambient light suppression based on multi-tap and multi-aperture cameras (2020)
  • Author(s): Keiichiro Kagawa
  • Organizer: CME 2020
  • Int'l Joint Research / Invited
• [Presentation] 8タップCMOSイメージセンサを用いた環境光・被写体の動きに強い2波長空間周波数領域イメージング (2020)
  • Author(s): 柴田伊織, 白川雄也, 高田一輝, 安富啓太, 川人祥二, 香川景一郎
  • Organizer: Optics & Photonics Japan 2020 (OPJ2020)
• [Presentation] マルチタップコンピュテーショナルCMOSイメージセンサによるTOF・生体計測 (2020)
  • Author(s): 香川景一郎
  • Organizer: 光とレーザーの科学技術フェア2020 イメージセンシングセミナー
• [Presentation] マルチタップCMOSイメージセンサとマルチアパーチャカメラによる空間周波数領域イメージング(SFDI)の高機能化 (2020)
  • Author(s): 香川景一郎
  • Organizer: 日本学術振興会第185委員会2020年度第1回研究会
• [Presentation] 8タップCMOSイメージセンサと6位相ストライプ光投影を用いたFFTに基づく空間周波数領域イメージングの検討 (2020)
  • Author(s): 高田一輝, 柴田伊織, 白川雄也, 安富啓太, 川人祥二, 香川景一郎
  • Organizer: 映像情報メディア学会情報センシング研究会
• [Presentation] 8タップCMOSイメージセンサとストライプ光投影を用いた高機能空間周波数領域イメージングの基礎検討 (2020)
  • Author(s): 高田一輝, 西岡佑記, 香川景一郎
  • Organizer: 第14回関東学生論文講演会
• [Presentation] Biomedical imaging based on multi-tap CMOS image sensors and compact compound-eye cameras (2019)
  • Author(s): Keiichiro Kagawa, Keita Yasutomi, Shoji Kawahito
  • Organizer: 4th Int’l Conf. on Photonics Solutions (ICPS2019)
  • Int'l Joint Research / Invited
• [Presentation] Simulation of multi-exposure laser speckle contrast boold flow imaging based on multi-tap charge modulator CMOS image sensor (2019)
  • Author(s): Panneer Selvam Sivakumar, Keiichiro Kagawa, Christian Crouzet, Bernard Choi, Keita Yasutomi, and Shoji Kawahito
  • Organizer: Optics & Photonics Int’l Congress 2019
  • Int'l Joint Research
• [Presentation] TOMBOを用いたマルチバンドSFDIによる吸収・散乱スペクトル計測 －逆モンテカルロ法との比較 (2019)
  • Author(s): 香川景一郎, 西舘泉, Rolf Saager, 津村徳道, 谷田純
  • Organizer: Optics & Photonics Japan 2019
• [Presentation] 時間・空間分割多重生体イメージング用マルチタップCMOSをイメージセンサ画素の開発 (2019)
  • Author(s): 柴田伊織, 香川景一郎, 安富啓太, 川人祥二
  • Organizer: 映像情報メディア学会情報センシング研究会
• [Presentation] Multi-tap CMOS image sensors and multi-aperture cameras for biomedical imaging (2019)
  • Author(s): Keiichiro Kagawa, Keita Yasutomi, Shoji Kawahito,
  • Organizer: Proc. 24th Int’l Symp. On Artificial Life and Robotics (AROB 24th)
  • Int'l Joint Research
• [Presentation] Motion-artifact-free near-video-rate spatial-frequency-domain imaging using a 4-tap CMOS image sensor with ambient light suppression (2019)
  • Author(s): Yuki Nishioka, Keiichiro Kagawa, Chen Cao, Norimichi Tsumura, Takashi Komuro, Katsumasa Nakamura, Anthony Durkin, Bruce Tromberg, Keita Yasutomi, Shoji Kawahito
  • Organizer: SPIE Photonics West BiOS
  • Int'l Joint Research
• [Presentation] Multi-spectral spatial-freqyency-domain imaging with a compact compound-eye camera TOMBO (2019)
  • Author(s): Keiichiro Kagawa, Tomoya Koike, Yuki Nishioka, Takaya Omura, Norimichi Tsumura, Takashi Komuro, Mohammad Torabzadeh, Rolf Sagger, Ata Sharif, Anthony Durkin, Bruce Tromberg, Jun Tanida
  • Organizer: Photonics West BiOS
  • Int'l Joint Research
• [Presentation] 時間・空間分割多重生体光イメージングに向けたマルチタップ画素の設計 (2019)
  • Author(s): 柴田伊織, 香川景一郎, 安富啓太, 川人祥二
  • Organizer: 情報フォトニクス研究会第13回関東学生研究論文講演会
• [Presentation] Medical imaging with multi-tap CMOS image sensors (2018)
  • Author(s): Keiichiro Kagawa, Keita Yasutomi, Shoji Kawahito
  • Organizer: Proc. 4th Int’l Workshop on Image Sensors and Imaging Systems (IWISS2018)
  • Int'l Joint Research / Invited
• [Presentation] 複眼分光カメラと光源の波長特性を考慮した生体色素濃度画像推定 (2018)
  • Author(s): 小池知也, 香川景一郎, 大村昂也
  • Organizer: 情報フォトニクス研究会第13回関東学生研究論文講演会
• [Presentation] マルチタップCMOSイメージセンサによる生体イメージング：散乱・蛍光・血流 (2018)
  • Author(s): 香川景一郎, 安富啓太, 川人祥二
  • Organizer: 日本光学会年次学術講演会Optics & Photonics Japan 2018
• [Presentation] 4タップCMOSイメージセンサを用いたリアルタイム静脈イメージング (2018)
  • Author(s): 西岡佑記, 香川景一郎, Chen Cao, 津村徳道, 小室孝, 中村和正, Anthony Durkin, Bruce Tromberg, 安富啓太, 川人祥二
  • Organizer: 日本光学会年次学術講演会Optics & Photonics Japan 2018
• [Presentation] 複眼マルチスペクトルカメラを用いた生体色素濃度の2次元マップ推定 (2018)
  • Author(s): 小池知也, 香川景一郎, 西岡佑記, 大村昂也, 津村徳道, 小室孝, Rolf Saager, Mohammed Torabzadeh, Ata Sharif, Anthony Durkin, Bruce Tromberg, 谷田純,
  • Organizer: 日本光学会年次学術講演会Optics & Photonics Japan 2018
• [Presentation] 小型複眼マルチスペクトルカメラと用いた空間周波数領域生体光イメージング (2018)
  • Author(s): 香川景一郎, 西岡佑記, Mohammad Torabzadeh, Rolf Saager, Ata Sharif, Anthony Durkin, Bruce Tromberg, 谷田純
  • Organizer: 第12回新画像システム・情報フォトニクス研究討論会
• [Presentation] 小型複眼マルチスペクトルカメラを用いた空間周波数領域生体イメージング (2018)
  • Author(s): 大村昂也, 西岡佑記, 香川景一郎, Mohammad Torabzadeh, Rolf Saager, Ata Sharif, Anthony Durkin, Bruce Tromberg, 谷田純
  • Organizer: 映像情報メディア学会情報センシング研究会
• [Presentation] マルチタップCMOSイメージセンサを用いた生体光イメージング (2018)
  • Author(s): 香川景一郎, 安富啓太, 川人祥二
  • Organizer: 映像情報メディア学会情報センシング研究会
• [Remarks] 香川研究室HP
  • URL: https://idl.rie.shizuoka.ac.jp/~kagawa/index.html
• [Remarks] Research project (ISL)
  • URL: http://idl.rie.shizuoka.ac.jp/~kagawa/study/project/index.html