• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Computational Optical Imaging for Endscopic Surgery

Research Project

Project/Area Number 17H06102
Research InstitutionOsaka University

Principal Investigator

長原 一  大阪大学, データビリティフロンティア機構, 教授 (80362648)

Co-Investigator(Kenkyū-buntansha) 早崎 芳夫  宇都宮大学, オプティクス教育研究センター, 教授 (10271537)
小室 孝  埼玉大学, 理工学研究科, 教授 (10345118)
香川 景一郎  静岡大学, 電子工学研究所, 准教授 (30335484)
池田 哲夫  福岡歯科大学, 口腔歯学部, 教授 (60585701)
西舘 泉  東京農工大学, 工学(系)研究科(研究院), 准教授 (70375319)
Project Period (FY) 2017-05-31 – 2022-03-31
Keywordsコンピュテーショナルフォトグラフィ / 光計測 / 医工連携
Outline of Annual Research Achievements

近年、開腹手術とくらべて患者の負担が少なく快復が早いことから内視鏡手術が注目され、適用数は増加の一途をたどっている。しかし、一般的な内視鏡で得られる情報はモニタに表示される視野の狭い2次元画像のみで腹腔へ挿入しているため視点の自由も限定的である。そのため術者に高度な技術を要求することから開腹手術と比べて効率や安全性が劣るという問題がある。本研究では、新たな光計測技術を開発し非接触でリアルタイムの臓器の3次元計測・推定手法を実現する。この手法を内視鏡手術に応用することで、これまで術者の手探りや勘に頼っていた職人的な術式から、定量化・客観化された情報に基づいた効率的で安全な手術の実現が期待できる。本研究では、光コム光源と光干渉光学および時間変調CMOSイメージセンサを搭載した光コム干渉カメラを提案し、計測装置として実装する。また、本研究の要求仕様に基づいて500MHzの信号を変調できる時間変調CMOSイメージセンサを設計し、実装する。光コム干渉カメラで計測され、時間変調CMOSセンサで変調された画像から、直接反射と散乱成分の位相と強度、DC成分を復調・分離する手法を提案する。復調された位相と強度、DC成分からTOFやOCT、 DFD、 DOT手法により、臓器の表面や表層、深層形状を復元する手法を構築する。これら複数の推定キューや推定手法から得られたレンジや時空間特性の異なるモデルを統合する手法を提案する。このようにして推定されたモデルを用いて、内視鏡手術支援のためのリアルタイム提示システムを構築する。提案する計測推定手法と提示システムの有用性を動物実験や臨床において検証する。研究後半の発展として、スパース再構成手法を用いて異なる計測情報をシームレスに融合した対象形状を推定する手法の研究を行う。また、形状とともに分光情報獲得に関しても検討を行う。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の研究計画では10の研究課題を掲げて最終的な目標である臓器の3次元復元手法および手術支援アプリケーションへの実現を計画した。これに対して、これまでの3年の成果として、10課題の全てにおいて進捗がみられ、当初の予定どおり各グループで担当している要素技術に関する研究進捗が確認できた。その裏付けとして、論文37件、各分野の最高峰の会議への採択や受賞を含めた58件の研究成果発表を達成した。これらは、当初の予定よりも多い実績であったと考える。論文や学会発表に加えて,企業技術者を受講者とする講演会やセミナーを通して、将来の社会実装に向けた、開発された技術の公開に積極的に取り組んだ。このように、要素研究に関しては既に学会発表や論文の業績が出る段階であり、後半で予定していた全体のシステム構築や評価実証などの連携研究は既に始まっており、来年度以降において発表や業績が出る予定である。すなわち、研究期間前半での要素研究の確立、研究期間後半での要素の統合とシステム実証という当初の研究計画どおり順調に進んでいると自己評価しており、予定通りの成果が見込まれると考える。

Strategy for Future Research Activity

これまでの研究期間で達成した要素研究を統合して、目的である光コム干渉カメラの実装およびこのカメラ画像を用いた3次元復元手法を組み合わせて、臓器計測の可能な三次元計測システムを構築する。また、試作計測システムを用いて臨床現場を想定した実証実験を行う。既にグループ間連携を開始しているが、来年度以降では、本研究の特徴のひとつである、光学、電子工学、医学と情報学の異分野横断研究の実現により注力し、分野間横断により得られる新たな新規性や研究手法の確立を目指す。これまでの研究進捗は計画通り順調であり、研究計画に大きな変更はないと考えている。残り2年間で、残りの研究課題を実現し、研究目標を達成することが可能だと考える。

  • Research Products

    (51 results)

All 2020 2019 Other

All Journal Article (17 results) (of which Int'l Joint Research: 5 results,  Peer Reviewed: 16 results,  Open Access: 6 results) Presentation (31 results) (of which Int'l Joint Research: 15 results,  Invited: 7 results) Remarks (2 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Simple and affordable imaging of multiple physiological parameters with RGB camera-based diffuse reflectance spectroscopy2020

    • Author(s)
      Nishidate Izumi、Minakawa Masashi、McDuff Daniel、Wares MD. Abdul、Nakano Kazuya、Haneishi Hideaki、Aizu Yoshihisa、Niizeki Kyuichi
    • Journal Title

      Biomedical Optics Express

      Volume: 11 Pages: 1073~1073

    • DOI

      10.1364/BOE.382270

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] An 8-Tap CMOS Lock-In Pixel Image Sensor for Short-Pulse Time-of-Flight Measurements2020

    • Author(s)
      Shirakawa Yuya、Yasutomi Keita、Kagawa Keiichiro、Aoyama Satoshi、Kawahito Shoji
    • Journal Title

      Sensors

      Volume: 20 Pages: 1040~1040

    • DOI

      10.3390/s20041040

    • Peer Reviewed / Open Access
  • [Journal Article] Real-time monitoring of hypoxic-ischemic brain damage in neonatal rats using diffuse light reflectance spectroscopy2020

    • Author(s)
      S. Kinoshita, S. Kawauchi, T. Nagamatsu, I. Nishidate, T. Fujii, S. Sato
    • Journal Title

      Reproductive Sciences

      Volume: 27 Pages: 172-182

    • DOI

      10.1007/s43032-019-00020-9

    • Peer Reviewed
  • [Journal Article] Single-pixel camera with hole-array disk2020

    • Author(s)
      Y. Hayasaki and R. Sato
    • Journal Title

      Opt. Rev.

      Volume: 1 Pages: 1-16

    • DOI

      10.1007/s10043-020-00582-z

    • Peer Reviewed
  • [Journal Article] High-quality image retrieval by iterative total-error compensation for single-pixel imaging of random illuminations2020

    • Author(s)
      Liu Jung-Ping、Tsai Kun-Chi、Luo Bo-Bing、Hayasaki Yoshio
    • Journal Title

      Optics and Lasers in Engineering

      Volume: 124 Pages: 105852~105852

    • DOI

      10.1016/j.optlaseng.2019.105852

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] High-Speed Imaging Using CMOS Image Sensor With Quasi Pixel-Wise Exposure2020

    • Author(s)
      Yoshida Michitaka、Sonoda Toshiki、Nagahara Hajime、Endo Kenta、Sugiyama Yukinobu、Taniguchi Rin-ichiro
    • Journal Title

      IEEE Transactions on Computational Imaging

      Volume: 6 Pages: 463~476

    • DOI

      10.1109/TCI.2019.2956885

    • Peer Reviewed
  • [Journal Article] Efficacy of Novel Multispectral Imaging Device to Determine Anastomosis for Esophagogastrostomy2019

    • Author(s)
      Tsutsumi Ryosuke、Ikeda Tetsuo、Nagahara Hajime、Saeki Hiroshi、Nakashima Yuichiro、Oki Eiji、Maehara Yoshihiko、Hashizume Makoto
    • Journal Title

      Journal of Surgical Research

      Volume: 242 Pages: 11~22

    • DOI

      10.1016/j.jss.2019.04.033

    • Peer Reviewed
  • [Journal Article] TransCut2: Transparent Object Segmentation From a Light-Field Image2019

    • Author(s)
      Xu Yichao、Nagahara Hajime、Shimada Atsushi、Taniguchi Rin-ichiro
    • Journal Title

      IEEE Transactions on Computational Imaging

      Volume: 5 Pages: 465~477

    • DOI

      10.1109/TCI.2019.2893820

    • Peer Reviewed
  • [Journal Article] Multi-exposure laser speckle contrast imaging using a video-rate multi-tap charge modulation image sensor2019

    • Author(s)
      Sivakumar Panneer Selvam、Kagawa Keiichiro、Crouzet Christian、Choi Bernard、Yasutomi Keita、Kawahito Shoji
    • Journal Title

      Optics Express

      Volume: 27 Pages: 26175~26175

    • DOI

      10.1364/OE.27.026175

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Successful use of flexible silicone mesh for management of prolonged open abdomen2019

    • Author(s)
      Tsutsumi Ryosuke、Akahoshi Tomohiko、Ikeda Tetsuo、Maehara Yoshihiko、Hashizume Makoto
    • Journal Title

      Acute Medicine & Surgery

      Volume: 6 Pages: 400~403

    • DOI

      10.1002/ams2.438

    • Peer Reviewed
  • [Journal Article] Principles and development of collagen-mediated tissue fusion induced by laser irradiation2019

    • Author(s)
      Sasaki Shun、Ikeda Tetsuo、Okihara Shin-ichiro、Nishimura Shotaro、Nakadate Ryu、Saeki Hiroshi、Oki Eiji、Mori Masaki、Hashizume Makoto、Maehara Yoshihiko
    • Journal Title

      Scientific Reports

      Volume: 9 Pages: 1-16

    • DOI

      10.1038/s41598-019-45486-4

    • Peer Reviewed
  • [Journal Article] Reflectance and Shape Estimation with a Light Field Camera under Natural Illumination2019

    • Author(s)
      Trung Thanh Ngo, Hajime Nagahara, Ko Nishino, Rin-ichiro Taniguchi, Yasushi Yagi
    • Journal Title

      International Journal of Computer Vision

      Volume: 1 Pages: 1-16

    • DOI

      10.1007/s11263-019-01149-5

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] RGB Camera-Based Imaging of Oxygen Saturation and Hemoglobin Concentration in Ocular Fundus2019

    • Author(s)
      Nakano Kazuya、Hirofuji Ryosuke、Ohnishi Takashi、Hauta-Kasari Markku、Nishidate Izumi、Haneishi Hideaki
    • Journal Title

      IEEE Access

      Volume: 7 Pages: 56469~56479

    • DOI

      10.1109/ACCESS.2019.2913878

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Multispectral imaging of cortical vascular and hemodynamic responses to a shock wave: observation of spreading depolarization and oxygen supply-demand mismatch2019

    • Author(s)
      Kawauchi Satoko, Wataru Okuda, Hiroshi Nawashiro, Shunichi Sato, Izumi Nishidate
    • Journal Title

      Journal of Biomedical Optics

      Volume: 24 Pages: 1~1

    • DOI

      10.1117/1.JBO.24.3.035005

    • Peer Reviewed / Open Access
  • [Journal Article] Noninvasive evaluation of hemodynamics and light scattering property during two-stage mouse cutaneous carcinogenesis based on multispectral diffuse reflectance images at isosbestic wavelengths of hemoglobin2019

    • Author(s)
      Wares Md. Abdul、Tobita Naoki、Kawauchi Satoko、Sato Shunichi、Nishidate Izumi
    • Journal Title

      Journal of Biomedical Optics

      Volume: 24 Pages: 1~1

    • DOI

      10.1117/1.JBO.24.3.031020

  • [Journal Article] Postoperative development of sarcopenia is a strong predictor of a poor prognosis in patients with adenocarcinoma of the esophagogastric junction and upper gastric cancer2019

    • Author(s)
      Kudou Kensuke、Saeki Hiroshi、Nakashima Yuichiro、Sasaki Shun、Jogo Tomoko、Hirose Kosuke、Hu Qingjiang、Tsuda Yasuo、Kimura Koichi、Nakanishi Ryota、Kubo Nobuhide、Ando Koji、Oki Eiji、Ikeda Tetsuo、Maehara Yoshihiko
    • Journal Title

      The American Journal of Surgery

      Volume: 217 Pages: 757~763

    • DOI

      10.1016/j.amjsurg.2018.07.003

    • Peer Reviewed
  • [Journal Article] Postoperative Skeletal Muscle Loss Predicts Poor Prognosis of Adenocarcinoma of Upper Stomach and Esophagogastric Junction2019

    • Author(s)
      K. Kudou, H. Saeki, Y. Nakashima, K. Kimura, K. Ando, E. Oki, T. Ikeda, Y. Maehara
    • Journal Title

      World J Surg.

      Volume: 43 Pages: 1068-1075

    • DOI

      10.1007/s00268-018-4873-6

    • Peer Reviewed
  • [Presentation] Single-shot multi-frequency pulse-TOF depth imaging with sub-clock shifting for multi-path interference separation2020

    • Author(s)
      Tomoya Kokado, Yu Feng, Masaya Horio, Keita Yasutomi, Shoji Kawahito, Takashi Komuro, Hajime Ngahara, and Keiichiro Kagawa
    • Organizer
      IS&T Intenational Symposium on Electronic Imaging
    • Int'l Joint Research
  • [Presentation] Recognizing Gestures from Videos using A Network with Two-branch Structure and Additional Motion Cues2020

    • Author(s)
      Zhou Jiaxin and Takashi Komuro
    • Organizer
      IEEE International Conference on Automatic Face and Gesture Recognition
    • Int'l Joint Research
  • [Presentation] Dynamic Layout Optimization for Multi-user Interaction with a Large Display2020

    • Author(s)
      Yoshio Matsuda and Takashi Komuro
    • Organizer
      ACM International Conference on Intelligent User Interfaces
    • Int'l Joint Research
  • [Presentation] Single-shot real-time multiple-path time-of-flight depth imaging for multi-aperture and mcro-pixel sensors2020

    • Author(s)
      Miguel Heredia Conde, Keiichiro Kagawa, Tomoya Kokado, Shoji Kawahito, and Otmar Loffeld
    • Organizer
      Int’l Conf. on Acoustics, Speech, and Signal Processing
    • Int'l Joint Research
  • [Presentation] Multi-tap charge moudlator based ultra-fast computational CMOS image sensors for single-shot and repeatable image acquisition2020

    • Author(s)
      Keiichiro Kagawa
    • Organizer
      CLEO
    • Invited
  • [Presentation] マルチモーダルデータの暗黙的融合による動画像からのジェスチャー認識2020

    • Author(s)
      周嘉欣, 小室孝
    • Organizer
      動的画像処理実利用化ワークショップ
  • [Presentation] Recognizing Fall Actions from Videos using Reconstruction Error of Variational Autoencoder2019

    • Author(s)
      Jiaxin Zhou and Takashi Komuro
    • Organizer
      IEEE International Conference on Image Processing
    • Int'l Joint Research
  • [Presentation] Measurement and suppression of multipath effect in time-of-flight depth imaging for endoscopic applications2019

    • Author(s)
      Ryota Miyagi, Yuta Murakami, Keiichiro Kagawa, Hajime Nagahara, Kenji Kawashima, Keita Yasutomi, and Shoji Kawahito
    • Organizer
      Electronic Imaging
    • Int'l Joint Research
  • [Presentation] Multi-tap macro-pixel based comporessive ultra-high-speed CMOS image sensor2019

    • Author(s)
      Keiichiro Kagawa, Tomoya Kokado, Yuto Sato, Futa Mochizuki, Hajime Nagahara, Taishi Takasawa, Keita Yasutomi, Shoji Kawahito
    • Organizer
      Int’l Image Sensor Workshop
    • Int'l Joint Research
  • [Presentation] A 3-D DISPLAY PIPELINE FROM CODED-APERTURE CAMERA TO TENSOR LIGHT-FIELD DISPLAY THROUGH CNN2019

    • Author(s)
      Keita Maruyama, Yasutaka Inagaki, Keita Takahashi, Toshiaki Fujii, Hajime Nagahara
    • Organizer
      International Conference on Image Processing
    • Int'l Joint Research
  • [Presentation] Learning-Based Framework for Capturing Light Fields through a Coded Aperture Camera2019

    • Author(s)
      Yasutaka Inagaki, Keita Takahashi, Toshiaki Fujii, and Hajime Nagahara
    • Organizer
      International Conference on Computational Photography
  • [Presentation] Functional CMOS Image Sensor with flexible integration time setting among adjacent pixels2019

    • Author(s)
      Kenta Endo, Yukinobu Sugiyama, Michitaka Yoshida, Hajime Nagahara, Kento Kaneta, Keisuke Uchida, Yasuhito Yoneta, and Masaharu Muramatsu
    • Organizer
      International Conference on Computational Photography
  • [Presentation] Joint optimization for compressive video sensing and reconstruction under hardware constraints2019

    • Author(s)
      Michitaka Yoshida, Akihiko Torii, Masatoshi Okutomi, Kenta Endo, Yukinobu Sugiyama, Rin-ichiro Taniguchi, and Hajime Nagahara
    • Organizer
      International Conference on Computational Photography
  • [Presentation] Integrated optical measurement system of optical coherence tomography and time of flight2019

    • Author(s)
      S. Masaki and Y. Hayasaki, J. Cervantes, K. Kagawa, H. Nagahara
    • Organizer
      OSK-OSA-OSJ Joint Symposium
    • Int'l Joint Research
  • [Presentation] Integration of optical coherence tomography and frequency comb measurement2019

    • Author(s)
      Y. Shimamoto and Y. Hayasaki, Francisco JOEL Cervantes Lozano, Quang Duc Pham, Hajime Nagahara, Keiichiro Kagawa
    • Organizer
      OSK-OSA-OSJ Joint Symposium
    • Int'l Joint Research
  • [Presentation] Single-pixel imaging with hole-array coding masks2019

    • Author(s)
      Y. Hayasaki, R. Sato, and Y. Ito
    • Organizer
      The 13th Japan-Finland Joint Symposium on Optics in Engineering
    • Int'l Joint Research
  • [Presentation] Integration of optical coherence tomography and frequency comb measurement2019

    • Author(s)
      Y. Shimamoto, J. Cervantes, H. Nagahara, K. Kagawa, and Y. Hayasaki
    • Organizer
      Student Conference on Light
    • Int'l Joint Research
  • [Presentation] Standardization of extrafascial Glissonian approach for laparoscopic anatomical hepatectomy based on the new concept of proper hepatic capsule2019

    • Author(s)
      Tetsuo Ikeda, Koichi Kimura, Kudo Kensuke
    • Organizer
      The 2nd World Congress of the International Laparoscopic Liver Society
    • Int'l Joint Research
  • [Presentation] Therapeutic Strategy for Intractable Biliary Stricture after Living Donor Liver Transplantation Endoscopy and Endoscopic Surgery2019

    • Author(s)
      Koichi Kimura, Kudo Kensuke, Tetsuo Ikeda
    • Organizer
      The 31st World Congress of the International Association of Surgeons, Gastroenterologists and Oncologists
    • Int'l Joint Research
  • [Presentation] Histomorphological investigation of intrahepatic connective tissue for surgical anatomy based on modern computer image analysis2019

    • Author(s)
      Tetsuo Ikeda, Koichi Kimura, Kudo Kensuke, Shinji Okano
    • Organizer
      The 31st Meeting of Japanese Society of Hepato-Biliary-Pancreatic Surgery
    • Int'l Joint Research
  • [Presentation] Biomedical imaging based on multi-tap CMOS image sensors and compact compound-eye cameras2019

    • Author(s)
      Keiichiro Kagawa, Keita Yasutomi, Shoji Kawahito
    • Organizer
      4th Int’l Conf. on Photonics Solutions
    • Invited
  • [Presentation] マルチスペクトルイメージングの外科手術ナビゲーションとしての有用性の検討 ~ 致命的な合併症を予知し未然に防ぐナビゲーション装置の開発研究2019

    • Author(s)
      池田哲夫、堤亮介
    • Organizer
      情報センシング研究会
    • Invited
  • [Presentation] Hole-array spatial light modulation for single-pixel imaging2019

    • Author(s)
      Y. Hayasaki, Ryo Sato, and Yujiro Ito
    • Organizer
      SPIE./OCS Photonics Asia
    • Invited
  • [Presentation] RGB camera-based optical imaging of in vivo tissue physiology and functions2019

    • Author(s)
      Izumi Nishidate, Satoko Kawauchi, Shunichi Sato, Manabu Sato, Yoshihisa Aizu, Kyuichi Niizeki and Yasuaki Kokubo
    • Organizer
      International symposium on imaging, sensing, and optical memory
    • Invited
  • [Presentation] RGB-camera based biomedical imaging and its applications2019

    • Author(s)
      Izumi Nishidate, Satoko Kawauchi, Shunichi Sato, Manabu Sato, Yasuaki Kokubo
    • Organizer
      4th International conference on photonics solutions
    • Invited
  • [Presentation] 拡散反射分光法に基づくカラー画像解析と脳機能イメージングへの応用2019

    • Author(s)
      西舘泉,加賀祐紀,川内聡子,佐藤俊一,佐藤学,小久保安昭
    • Organizer
      映像情報メディア学会情報センシング11月研究会「医療における新しい生体イメージング技術と最新CMOSイメージセンサ技術」
    • Invited
  • [Presentation] マルチタップ・マクロ画素構造を用いたコンピュテーショナル超高速CMOSイメージセンサ2019

    • Author(s)
      古角友也, 馮宇, 佐藤祐人, 望月風太, 沖原伸一朗, 高澤大志,安富啓太,川人祥二, 長原一, 香川景一郎
    • Organizer
      高速度イメージングとフォトニクスに関する総合シンポジウム
  • [Presentation] 内視鏡のための光コム,タイムオブフライト,光コヒーレンストモグラフィ2019

    • Author(s)
      正木駿也, 島本裕基, 早崎芳夫
    • Organizer
      第1回宇都宮大学コラボレーション・フェア
  • [Presentation] 符号化開口カメラによる動的な光線空間の取得にむけて2019

    • Author(s)
      坂井 康平, 稲垣 安隆, 高橋 桂太, 藤井 俊彰, 長原 一
    • Organizer
      画像の認識・理解シンポジウム
  • [Presentation] 動的フォトメトリックステレオカメラを用いた手のひらの向きで操作するユーザインタフェース2019

    • Author(s)
      松田嘉男, 小室孝, 依田拓也, 長原一, 川人祥二, 香川景一郎
    • Organizer
      第22回画像の認識・理解シンポジウム
  • [Presentation] 光コヒーレンストモグラフィと周波数コム距離計測の統合2019

    • Author(s)
      島本裕基,ホエル セルバンテス,ファム ド クアン, 香川景一郎,長原一,早崎芳夫
    • Organizer
      第13回新画像システム・情報フォトニクス研究討論会
  • [Remarks] 多元コンピュテーショナル光計測による手術支援応用

    • URL

      http://www.ids.osaka-u.ac.jp/nagahara/project/kibanS/

  • [Remarks] 香川研web研究プロジェクト紹介

    • URL

      http://idl.rie.shizuoka.ac.jp/~kagawa/study/project/index.html

  • [Patent(Industrial Property Rights)] カメラ及びモニタ2019

    • Inventor(s)
      長原一, グエンカイン トゥオン
    • Industrial Property Rights Holder
      大阪大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2019-190917

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi