• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Computational Optical Imaging for Endscopic Surgery

Research Project

Project/Area Number 17H06102
Research InstitutionOsaka University

Principal Investigator

長原 一  大阪大学, データビリティフロンティア機構, 教授 (80362648)

Co-Investigator(Kenkyū-buntansha) 早崎 芳夫  宇都宮大学, オプティクス教育研究センター, 教授 (10271537)
小室 孝  埼玉大学, 理工学研究科, 教授 (10345118)
香川 景一郎  静岡大学, 電子工学研究所, 教授 (30335484)
池田 哲夫  福岡歯科大学, 口腔歯学部, 教授 (60585701)
西舘 泉  東京農工大学, 工学(系)研究科(研究院), 准教授 (70375319)
Project Period (FY) 2017-05-31 – 2022-03-31
Keywordsコンピュテーショナルフォトグラフィ / 光計測 / 医工連携
Outline of Annual Research Achievements

近年、開腹手術とくらべて患者の負担が少なく快復が早いことから内視鏡手術が注目され、適用数は増加の一途をたどっている。しかし、一般的な内視鏡で得られる情報はモニタに表示される視野の狭い2次元画像のみで腹腔へ挿入しているため視点の自由も限定的である。そのため術者に高度な技術を要求することから開腹手術と比べて効率や安全性が劣るという問題がある。本研究では、新たな光計測技術を開発し非接触でリアルタイムの臓器の3次元計測・推定手法を実現する。この手法を内視鏡手術に応用することで、これまで術者の手探りや勘に頼っていた職人的な術式から、定量化・客観化された情報に基づいた効率的で安全な手術の実現が期待できる。本研究では、光コム光源と光干渉光学および時間変調CMOSイメージセンサを搭載した光コム干渉カメラを提案し、計測装置として実装する。また、本研究の要求仕様に基づいて500MHzの信号を変調できる時間変調CMOSイメージセンサを設計し、実装する。光コム干渉カメラで計測され、時間変調CMOSセンサで変調された画像から、直接反射と散乱成分の位相と強度、DC成分を復調・分離する手法を提案する。復調された位相と強度、DC成分からTOFやOCT、 DFD、DOT手法により、臓器の表面や表層、深層形状を復元する手法を構築する。これら複数の推定キューや推定手法から得られたレンジや時空間特性の異なるモデルを統合する手法を提案する。このようにして推定されたモデルを用いて、内視鏡手術支援のためのリアルタイム提示システムを構築する。提案する計測推定手法と提示システムの有用性を動物実験や臨床において検証する。研究後半の発展として、スパース再構成手法を用いて異なる計測情報をシームレスに融合した対象形状を推定する手法の研究を行う。また、形状とともに分光情報獲得に関しても検討を行う。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の研究計画では10の研究課題を掲げて最終的な目標である臓器の3次元復元手法および手術支援アプリケーションへの実現を計画した。これに対して、これまでの4年の成果として、10課題の全てにおいて進捗がみられ、当初の予定どおり各グループで担当している要素技術に関する研究進捗が確認できた。論文や学会発表に加えて,企業技術者を受講者とする講演会やセミナーを通して、将来の社会実装に向けた、開発された技術の公開に積極的に取り組んだ。さらに、これらの要素技術の組み合わせや応用研究を開始した。具体的には、試作CMOSセンサを用いた圧縮センシング手法の検討や、酸素飽和度の測定手法の内視鏡への適用などを行なった。

すなわち、研究期間前半での要素研究の確立、研究期間後半での要素の統合とシステム実証という当初の研究計画どおり順調に進んでいると自己評価しており、予定通りの成果が見込まれると考える。

Strategy for Future Research Activity

これまでの研究期間で達成した要素研究を統合して、目的である光コム干渉カメラの実装およびこのカメラ画像を用いた3次元復元手法を組み合わせて、臓器計測の可能な三次元計測システムを構築する。また、試作計測システムを用いて臨床現場を想定した実証実験を行う。既にグループ間連携を開始しているが、来年度以降では、本研究の特徴のひとつである、光学、電子工学、医学と情報学の異分野横断研究の実現により注力し、分野間横断により得られる新たな新規性や研究手法の確立を目指す。これまでの研究進捗は計画通り順調であり、研究計画に大きな変更はないと考えている。最終年度において残りの研究目標を達成することが可能だと考える。

  • Research Products

    (48 results)

All 2021 2020 Other

All Journal Article (13 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 13 results,  Open Access: 7 results) Presentation (32 results) (of which Int'l Joint Research: 18 results,  Invited: 6 results) Remarks (2 results) Patent(Industrial Property Rights) (1 results) (of which Overseas: 1 results)

  • [Journal Article] [Paper] CFA Handling and Quality Analysis for Compressive Light Field Camera2021

    • Author(s)
      Sakai Kohei、Inagaki Yasutaka、Takahashi Keita、Fujii Toshiaki、Nagahara Hajime
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 9 Pages: 25~32

    • DOI

      10.3169/mta.9.25

    • Peer Reviewed / Open Access
  • [Journal Article] Transcutaneous monitoring of hemoglobin derivatives during methemoglobinemia in rats using spectral diffuse reflectance2021

    • Author(s)
      Khatun Fahima、Aizu Yoshihisa、Nishidate Izumi
    • Journal Title

      Journal of Biomedical Optics

      Volume: 26 Pages: .

    • DOI

      10.1117/1.JBO.26.3.033708

    • Peer Reviewed / Open Access
  • [Journal Article] In Vivo Transcutaneous Monitoring of Hemoglobin Derivatives Using a Red-Green-Blue Camera-Based Spectral Imaging Technique2021

    • Author(s)
      Khatun Fahima、Aizu Yoshihisa、Nishidate Izumi
    • Journal Title

      International Journal of Molecular Sciences

      Volume: 22 Pages: 1528~1528

    • DOI

      10.3390/ijms22041528

    • Peer Reviewed / Open Access
  • [Journal Article] Phase Velocity of Facial Blood Volume Oscillation at a Frequency of 0.1 Hz2021

    • Author(s)
      Yoshida Kenichiro、Nishidate Izumi
    • Journal Title

      Frontiers in Physiology

      Volume: 12 Pages: .

    • DOI

      10.3389/fphys.2021.627354

    • Peer Reviewed / Open Access
  • [Journal Article] Alteration in faecal bile acids, gut microbial composition and diversity after laparoscopic sleeve gastrectomy2020

    • Author(s)
      Ikeda T、Aida M、Yoshida Y、Matsumoto S、Tanaka M、Nakayama J、Nagao Y、Nakata R、Oki E、Akahoshi T、Okano S、Nomura M、Hashizume M、Maehara Y
    • Journal Title

      British Journal of Surgery

      Volume: 107 Pages: 1673~1685

    • DOI

      10.1002/bjs.11654

    • Peer Reviewed
  • [Journal Article] Histomorphological investigation of intrahepatic connective tissue for surgical anatomy based on modern computer imaging analysis2020

    • Author(s)
      Ikeda Tetsuo、Okano Shinji、Hashimoto Naotaka、Kimura Koichi、Kudo Kensuke、Tsutsumi Ryosuke、Sasaki Shun、Kawasaki Junji、Miyashita Yu、Wada Hiroya
    • Journal Title

      Journal of Hepato-Biliary-Pancreatic Sciences

      Volume: 28 Pages: 76~85

    • DOI

      10.1002/jhbp.753

    • Peer Reviewed
  • [Journal Article] Non-contact imaging of peripheral hemodynamics during cognitive and psychological stressors2020

    • Author(s)
      McDuff Daniel、Nishidate Izumi、Nakano Kazuya、Haneishi Hideaki、Aoki Yuta、Tanabe Chihiro、Niizeki Kyuichi、Aizu Yoshihisa
    • Journal Title

      Scientific Reports

      Volume: 10 Pages: 1-13

    • DOI

      10.1038/s41598-020-67647-6

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Processing conditions using electric discharge and optical characteristics for a short multimode fiber imaging probe2020

    • Author(s)
      Katahira Motoshi、Eto Kai、Hirano Takaya、Masuta Junpei、Nishidate Izumi、Sato Manabu
    • Journal Title

      Optics Communications

      Volume: 474 Pages: 126089~126089

    • DOI

      10.1016/j.optcom.2020.126089

    • Peer Reviewed / Open Access
  • [Journal Article] Low-coherence digital holography with a multireflection reference mirror2020

    • Author(s)
      Pham Quang Duc、Hayasaki Yoshio
    • Journal Title

      Optics Letters

      Volume: 45 Pages: 4393~4393

    • DOI

      10.1364/OL.397475

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Area-coding method in frequency comb profilometry fused with optical interferometry for measuring centimeter-depth objects with nanometer accuracy2020

    • Author(s)
      Duc Pham Quang、Hayasaki Yoshio
    • Journal Title

      Applied Optics

      Volume: 59 Pages: 3608~3608

    • DOI

      10.1364/AO.386464

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Decay behavior and optical parameter identification for spatial-frequency domain imaging by the radiative transport equation2020

    • Author(s)
      Machida Manabu、Hoshi Yoko、Kagawa Keiichiro、Takada Kazuki
    • Journal Title

      Journal of the Optical Society of America A

      Volume: 37 Pages: 1-12

    • DOI

      10.1364/JOSAA.402124

    • Peer Reviewed
  • [Journal Article] [Paper] Object Manipulation for Perceiving a Sense of Material using User-Perspective Mobile Augmented Reality2020

    • Author(s)
      Nomura Ryota、Komuro Takashi、Yamamoto Shoji、Tsumura Norimichi
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 8 Pages: 245~251

    • DOI

      10.3169/mta.8.245

    • Peer Reviewed / Open Access
  • [Journal Article] Transmission of correct gaze direction in video conferencing using screen-embedded cameras2020

    • Author(s)
      Kobayashi Kazuki、Komuro Takashi、Kagawa Keiichiro、Kawahito Shoji
    • Journal Title

      Multimedia Tools and Applications

      Volume: 1 Pages: 1-12

    • DOI

      10.1007/s11042-020-09758-w

    • Peer Reviewed
  • [Presentation] Integrated optical imaging system composed of optical time-of-flight and optical coherence tomography2021

    • Author(s)
      Juan Manuel Franco Sanchez, Yuki Shimamoto, Joel Cervantes, Keiichiro Kagawa, Hajime Nagahara, Yoshio Hayasaki
    • Organizer
      OPTICS & PHOTONICS International Congress
    • Int'l Joint Research
  • [Presentation] Time of flight three-dimensional imaging camera using temporal compressive sampling technique2021

    • Author(s)
      Quang Duc Pham, Yoshio Hayasaki
    • Organizer
      OPTICS & PHOTONICS International Congress
    • Int'l Joint Research
  • [Presentation] Spatio-temporal frequency domain imaging using time-resolving CMOS image sensor and stripe pattern projection2021

    • Author(s)
      Kazuki Takada, Keita Osada, Manabu Machida, Yoko Hoshi, Keita Yasutomi, Shoji Kawahito, and Keiichiro Kagawa
    • Organizer
      Photonics West
    • Int'l Joint Research
  • [Presentation] 光学的整合性と大域照明を実現する end-to-end ネットワーク2021

    • Author(s)
      黄敬滔, 小室孝
    • Organizer
      動的画像処理実利用化ワークショップ
  • [Presentation] 5D Light Field Synthesis from a Monocular Video2020

    • Author(s)
      Kyuho Bae, Andre Ivan, Hajime Nagahara, In Kyu Park
    • Organizer
      International Conference on Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Acquiring Dynamic Light Fields through Coded Aperture Camera2020

    • Author(s)
      Kohei Sakai, Keita Takahashi, Toshiaki Fujii, Hajime Nagahara
    • Organizer
      European Conference on Computer Vision
    • Int'l Joint Research
  • [Presentation] Joint optimization for compressive color video sensing and reconstruction under hardware constraints2020

    • Author(s)
      Michitaka Yoshida, Akihiko Torii, Masatoshi Okutomi, Kenta Endo, Yukinobu Sugiyama, Rin-ichiro Taniguchi, Hajime Nagahara
    • Organizer
      International Conference on Computational Photography
    • Int'l Joint Research
  • [Presentation] Action Recognition from a Single Coded Image2020

    • Author(s)
      Tadashi Okawara, Michitaka Yoshida, Hajime Nagahara, Yasushi Yagi
    • Organizer
      International Conference on Computational Photography
    • Int'l Joint Research
  • [Presentation] Single shot low-coherence digital interferometer with multi-reflection reference mirror for measuring long depth object2020

    • Author(s)
      Quang Duc Pham, Yoshio Hayasaki
    • Organizer
      Biomedical Imaging and Sensing Conference
    • Int'l Joint Research
  • [Presentation] Integration of time-of-flight distance measurement and optical coherence tomography for extending its operating range2020

    • Author(s)
      Juan Manuel Franco Sanchez, Shunya Masaki, Yuki Shimamoto, Joel Cervantes, Keiichiro Kagawa, Hajime Nagahara, Yoshio Hayasaki
    • Organizer
      SPIE/COS Photonics Asia Digital Forum
    • Int'l Joint Research
  • [Presentation] Integrated optical measurement system: optical time-of-flight and optical coherence tomography2020

    • Author(s)
      Juan Manuel Franco Sanchez, Yuki Shimamoto, Shunya Masaki, Joel Cervantes, Quang Duc Pham, Keiichiro Kagawa, Hajime Nagahara, Yoshio Hayasaki
    • Organizer
      OSJ-OSA-OSK Joint Symposia on Optics
    • Int'l Joint Research
  • [Presentation] Wide-field quantitative biomedical imaging based on multi-tap CMOS image sensors2020

    • Author(s)
      Keiichiro Kagawa
    • Organizer
      Optics & Photonics Taiwan International Conference
    • Int'l Joint Research / Invited
  • [Presentation] Multi-tap charge modulator based ultra-fast computational CMOS image sensors for single-shot and repeatable image acquisition2020

    • Author(s)
      Keiichiro Kagawa,
    • Organizer
      CLEO, Symp: Single-shot Ultrafast Imaging
    • Int'l Joint Research / Invited
  • [Presentation] Single-shot real-time multiple-path time-of-flight depth imaging for multi-aperture and macro-pixel sensors2020

    • Author(s)
      Miguel Heredia Conde, Keiichiro Kagawa, Tomoya Kokado, Shoji Kawahito, Otmar Loffeld
    • Organizer
      Acoustics, Speech, and Signal Processing
    • Int'l Joint Research
  • [Presentation] Palm-Controlled Pointing Interface Using a Dynamic Photometric Stereo Camera2020

    • Author(s)
      Yoshio Matsuda, Takashi Komuro, Takuya Yoda, Hajime Nagahara, Shoji Kawahito, Keiichiro Kagawa
    • Organizer
      HCI International Conference
    • Int'l Joint Research
  • [Presentation] A Portable Measurement System for Spatially-Varying Reflectance Using Two Handheld Cameras2020

    • Author(s)
      Zar Zar Tun, Seiji Tsunezaki, Takashi Komuro, Shoji Yamamoto, Norimichi Tsumura
    • Organizer
      HCI International Conference
    • Int'l Joint Research
  • [Presentation] Recognizing Gestures from Videos using a Network with Two-Branch Structure and Additional Motion Cues2020

    • Author(s)
      Jiaxin Zhou, Takashi Komuro
    • Organizer
      IEEE International Conference on Automatic Face and Gesture Recognition
    • Int'l Joint Research
  • [Presentation] Transcutaneous monitoring of hemoglobin derivatives during methemoglobinemia using spectral diffuse reflectance imagingr2020

    • Author(s)
      Fahima Khatun and Izumi Nishidate
    • Organizer
      Biomedical Imaging and Sensing Conference
    • Int'l Joint Research
  • [Presentation] Non-contact transcutaneous monitoring of hemoglobin derivatives during methemoglobinemia using spectral diffuse reflectance imaging2020

    • Author(s)
      Fahima Khatun and Izumi Nishidate
    • Organizer
      Joint Symposia on Optics in Optics & Photonics Japan
    • Int'l Joint Research
  • [Presentation] RGBカメラを用いた生体医用イメージング2020

    • Author(s)
      西舘 泉
    • Organizer
      Optics & Photonics Japan
  • [Presentation] ディープセンシング~深層学習による画像センシングと処理の同時最適化~2020

    • Author(s)
      長原 一
    • Organizer
      映像情報メディア学会 情報センシング11月研究会
    • Invited
  • [Presentation] ライトフィールドビジョン2020

    • Author(s)
      長原 一
    • Organizer
      デジタルイメージング技術研究部会
    • Invited
  • [Presentation] 時間圧縮型超高速マルチタップ・マクロ画素イメージセンサの動作検証とサブ画素分解能画像再構成シミュレーション2020

    • Author(s)
      トーリックイブラヒム, 堀尾将也, 高澤大志, 安富啓太, 川人祥二, 香川景一郎
    • Organizer
      映像情報メディア学会情報センシング研究会
  • [Presentation] マルチライン走査と8タップCMOSイメージセンサを用いた高光量効率空間周波数領域イメージング2020

    • Author(s)
      高田一輝, 柴田伊織, 白川雄也, 長田京太, 中澤謙太, 安富啓太, 川人祥二, 香川景一郎
    • Organizer
      Optics & Photonics Japan
  • [Presentation] 短パルス構造光照明とマルチタップCMOSイメージセンサによる時空間周波数領域広視野拡散光イメージング2020

    • Author(s)
      香川景一郎
    • Organizer
      Optics & Photonics Japan
    • Invited
  • [Presentation] マルチタップコンピュテーショナルCMOSイメージセンサによるTOF・生体計測2020

    • Author(s)
      香川景一郎
    • Organizer
      オプトロニクス社 光とレーザーの科学技術フェア2020 イメージセンシングセミナー
  • [Presentation] マルチタップCMOSイメージセンサとマルチアパーチャカメラによる空間周波数領域イメージング(SFDI)の高機能化2020

    • Author(s)
      香川景一郎
    • Organizer
      日本学術振興会第185委員会2020年度第1回研究会
    • Invited
  • [Presentation] 人工知能ランダムフォレストにより,新たに認識された固有肝被膜(間膜)の系統的肝切除における有用性の検討2020

    • Author(s)
      池田哲夫、木村光一、工藤健介、岡野慎士
    • Organizer
      日本消化器外科学会総会
  • [Presentation] 指差し操作のための魚眼カメラ画像からの手指認識2020

    • Author(s)
      蟻川豊永, 小室孝
    • Organizer
      精密工学会秋季大会学術講演会
  • [Presentation] 3Dスキャンした屋内実空間に基づくVR環境の生成2020

    • Author(s)
      毛呂聡史, 小室孝
    • Organizer
      日本バーチャルリアリティ学会大会
  • [Presentation] 頭部搭載型プロジェクタを用いたウェアラブル拡張現実感システム2020

    • Author(s)
      飯盛正慶, 小室孝
    • Organizer
      日本バーチャルリアリティ学会大会
  • [Presentation] モバイルARにおける前面カメラ画像の外挿を用いた映り込みの再現2020

    • Author(s)
      小田嶋駿, 小室孝
    • Organizer
      日本バーチャルリアリティ学会大会
  • [Remarks] 多元コンピュテーショナル光計測による手術支援応用

    • URL

      http://www.ids.osaka-u.ac.jp/nagahara/project/kibanS/

  • [Remarks] 知能センシング講座

    • URL

      https://www.is.ids.osaka-u.ac.jp

  • [Patent(Industrial Property Rights)] カメラおよびイメージングシステム2020

    • Inventor(s)
      長原一、グエンカイン トゥオン
    • Industrial Property Rights Holder
      大阪大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      PCT/JP2020/3920
    • Overseas

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi