Dynamics analysis of musculoskeletal and organ systems during exercise by body-mounted robotic monitoring device

• Project/Area Number: 19K21941
• Research Category: Grant-in-Aid for Challenging Research (Exploratory)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 20:Mechanical dynamics, robotics, and related fields
• Research Institution: The University of Electro-Communications
• Principal Investigator: 小泉 憲裕 電気通信大学, 大学院情報理工学研究科, 准教授 (10396765)
• Co-Investigator(Kenkyū-buntansha): 岡田 英孝 電気通信大学, 大学院情報理工学研究科, 教授 (20303018) ; 東郷 俊太 電気通信大学, 大学院情報理工学研究科, 助教 (30751523)
• Project Period (FY): 2019-06-28 – 2022-03-31
• Project Status: Granted (Fiscal Year 2020)
• Budget Amount: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000); Fiscal Year 2019: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
• Keywords: 医療のデジタル化 / 医デジ化 / Me-DigIT / モーションキャプチャ / 体内臓器系モーションキャプチャ / 医療・バイオ用ロボットビジョン技術 / 運動モニタリング / Robotic ultrasound

Outline of Research at the Start

本研究では超音波技術，人工知能技術，ならびにロボット技術を基盤として非侵襲的な身体装着型のモニタリング装置を新規に開発，これを用いて把持・歩行運動中の体内臓器の挙動を世界で初めて観察可能とすることで人体の骨格および内臓・筋肉の統合的な動力学的解析・理解を促進することを目的とする。
近年，光学あるいは慣性センサを用いたモーションキャプチャの技術により運動中の筋・骨格系の動力学の理解・解析が可能になりつつある。本研究では上記に加えて運動する体内臓器の挙動をも統合的に観察可能とするツールおよびこれに基づく人体の骨格および内臓・筋肉の統合的な動力学的解析手法についての研究を行なう。

Outline of Annual Research Achievements

本研究では従来型の人体の筋骨格系のモーションキャプチャに加えて、超音波技術および人工知能・IoT・ロボット技術の融合により、把持・歩行運動中の体内臓器系の挙動を体表を傷つけることなく非侵襲に観察する、言わば『体内臓器系のモーションキャプチャ・システム』の構築法を確立することを目的とする。
これにより、これまでは不可能であった人体の筋骨格系および体内臓器系の統合的な動力学的解析・理解を可能とする、全く新しいロボット運動学の分野を開拓することが可能となり、人体の鏡像としてのロボット学の基盤になりうるものと期待している。
体内臓器系の挙動を観察する医療・バイオ用ロボットビジョン技術については近年，深層学習をはじめとする機械学習による画像処理の分野で画期的なブレークスルーがあった。これを踏まえてわれわれの研究グループも深層学習を包含した医療・バイオ用ロボットビジョン技術に関する研究に着手、その成果もきわめて順調に積み重ねている。また、プローブと患部の接触安定性が体内臓器系の挙動を抽出・モニタリングする際に与える影響についても解明した。超音波画像を適正化するためにはプローブの位置・姿勢・接触力を適正化する必要がある。
特筆すべき成果として医学および工学分野の一流国際誌（International Journal of Computer Assisted Radiology and Surgery：IJCARS)への掲載、医療ロボティクスのトップカンファレンス等への採択（CARS）、第９３回および９４回日本超音波医学会奨励賞受賞（JSUM2020、JSUM2021）２件など，体内臓器の挙動を観察する医療・バイオ用ロボットビジョン技術のパイオニアかつ中核的な存在として国内外からきわめて高い注目を集めてきている。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本研究課題の目的は，呼吸や拍動によって互いに相互作用しながら変形・回転をともなって運動する体内臓器系（対象：心臓・肝臓・腎臓・筋肉等）を対象として，超音波技術、人工知能・IoT・ロボット技術を基盤として，身体装着型ロボティック・モニタリング装置の構築法を確立することであり，研究期間内に，把持・歩行運動時においても精度を落とすことなく頑健に体内臓器の挙動を観察するシステムを実現するとともに，これを用いて人の歩行運動時の人体の骨格および内臓・筋肉の統合的な動力学的解析を行なうことであった。
これを踏まえて今年度はまず、体内臓器系の挙動を抽出・モニタリングするための医療・バイオ用ロボットビジョン技術に関する基盤システムを構築した。また、プローブと患部の接触安定性が体内臓器系の挙動を抽出・モニタリングする際に与える影響についても解明した。超音波画像を適正化するためにはプローブの位置・姿勢・接触力を適正化する必要がある。
特筆すべき成果として医学および工学分野の一流国際誌（International Journal of Computer Assisted Radiology and Surgery：IJCARS)への掲載、医療ロボティクスのトップカンファレンス等への採択（CARS）、第９３回および９４回日本超音波医学会奨励賞受賞（JSUM2020、JSUM2021）２件などが挙げられ、体内臓器の挙動を観察する医療・バイオ用ロボットビジョン技術のパイオニアかつ中核的な存在として我々の一連の研究は国内外からきわめて高い注目を集めてきている。

Strategy for Future Research Activity

本研究課題の目的は、呼吸や拍動によって互いに相互作用しながら変形・回転をともなって運動する体内臓器系（対象：心臓・肝臓・腎臓・筋肉等）を対象に超音波技術および人工知能・IoT・ロボット技術を基盤として身体装着型ロボティック・モニタリング装置の構築法を確立することであり、研究期間内に把持・歩行運動時においても精度を落とすことなく頑健に体内臓器の挙動を観察できるシステムを実現するとともに、これを用いて人の歩行運動時の人体の骨格および内臓・筋肉の統合的な動力学的解析を行なう。
この研究目的を達成するために、下記の3つのサブ課題を順次遂行することで研究を遂行する。(サブ課題 I) 体内臓器モニタリングのためのプローブ走査モデルの開発、(サブ課題 II) システムの機構・制御の開発、(サブ課題 III) 体内臓器の観察・動力学的解析。
このうち、当該年度は(サブ課題 I)に加えて、(サブ課題 II)および(サブ課題 III)を含めた課題を遂行する計画である。

Research Products

• [Journal Article] Correlation between alterations in blood flow of malignant lymphomas after induction chemotherapies and clinical outcomes: a pilot study utilising contrast-enhanced ultrasonography for early interim evaluation of lymphoma treatment (2021)
  • Author(s): Mariko Kumagawa, Naoki Matsumoto, Katsuhiko Miura, Masahiro Ogawa, Hiromichi Takahashi, Yoshihiro Hatta, Ryosuke Kondo, Norihiro Koizumi, Masami Takei, Mitsuhiko Moriyama
  • Journal Title: Clinical Radiology Volume: 2021 Pages: 1-9
  • DOI: 10.1016/j.crad.2021.02.007
  • Peer Reviewed
• [Journal Article] The value of hepatobiliary phase in EOB-MRI in predicting hypervascularization outcome of non-hypervascular hypointense lesions in high-risk patients for hepatocellular carcinoma (2021)
  • Author(s): Feiqian Wang, Kazushi Numata, Makoto Chuma, Hiromi Nihonmatsu, Satoshi Moriya, Akito Nozaki, Katsuaki Ogushi, Hiroyuki Fukuda, Masahiro Okada, Litao Ruan, Wen Luo, Norihiro Koizumi, Masayuki Nakano, Masako Otani, Yoshiaki Inayama, Shin Maeda
  • Journal Title: Abdom Radiology Volume: 2021 Pages: 1-13
  • DOI: 10.1007/s00261-020-02881-0
  • Peer Reviewed / Open Access
• [Journal Article] Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images (2020)
  • Author(s): Shiho Yagasaki, Norihiro Koizumi, Yu Nishiyama, Ryosuke Kondo, Tsubasa Imaizumi, Naoki Matsumoto, Masahiro Ogawa, Kazushi Numata
  • Journal Title: International Journal of Computer Assisted Radiology and Surgery Volume: 5 Pages: 1989-1995
  • DOI: 10.1007/s11548-020-02265-1
  • Peer Reviewed
• [Journal Article] CNNを用いた高速な超音波画像上の臓器検出手法の比較・検証 (2020)
  • Author(s): 五十嵐 立樹, 冨田 恭平, 西山 悠, 小泉 憲裕
  • Journal Title: 計測自動制御学会論文集 Volume: 56 Pages: 560-569
  • DOI: 10.9746/sicetr.56.560
  • NAID: 130007958053
  • Peer Reviewed
• [Journal Article] Sagittal alignment in an MR-TRUS fusion biopsy using only the prostate contour in the axial image (2020)
  • Author(s): Riki Igarashi, Norihiro Koizumi, Yu Nishiyama, Kyohei Tomita, Yuka Shigenari, Sunao Shoji
  • Journal Title: ROBOMECH Journal Volume: 7 Pages: 1-7
  • DOI: 10.1186/s40648-020-0155-9
  • Peer Reviewed / Open Access
• [Journal Article] Use of intra-procedural fusion imaging combining contrast-enhanced ultrasound using a perflubutane-based contrast agent and auto sweep three-dimensional ultrasound for guiding radiofrequency ablation and evaluating its efficacy in patients with hepatocellular carcinomaInternational (2020)
  • Author(s): Katsuyuki Sanga, Kazushi Numata, Hiromi Nihonmatsu, Katsuaki Ogushi, Hiroyuki Fukuda, Makoto Chuma, Hiroshi Hashimoto, Norihiro Koizumi, Shin Maeda
  • Journal Title: International Journal of Hyperthermia (IJH) Volume: 37 Pages: 202-211
  • DOI: 10.1080/02656736.2020.1729422
  • Peer Reviewed / Open Access
• [Journal Article] Usefulness of computer-aided diagnosis system in evaluating severity of benign prostatic hyperplasia, using a super-ellipse model to characterize changes in prostate contours (2020)
  • Author(s): Sunao Shoji, Yuka Shigenari, Izumi Hanada, Tatsuya Otaki, Takahiro Ogawa, Masayoshi Kawakami, Hakushi Kim, Masanori Hasegawa,Yoshiaki Kawamura, Norihiro Koizumi, Akira Miyajima
  • Journal Title: The Journal of Urology Volume: 203 Pages: 605-606
  • DOI: 10.1097/ju.0000000000000891.07
  • Peer Reviewed / Open Access
• [Journal Article] Method of Medical DigITalization (Me-DigIT) and Its Effects and Social Impacts (2019)
  • Author(s): 小泉憲裕, 西山 悠, 江浦史生,今泉飛翔, 大塚研秀, 佐々木雄大, 重成佑香, 五十嵐立樹, 草原健太, 小林賢人, 月原弘之, 松本直樹, 小川眞広
  • Journal Title: Journal of the Japan Society for Precision Engineering Volume: 85 Issue: 9 Pages: 749-752
  • DOI: 10.2493/jjspe.85.749
  • NAID: 130007703006
  • ISSN: 0912-0289, 1882-675X
  • Open Access
• [Journal Article] Automatic Diagnosis by Compact Portable Ultrasound Robot : State Estimation of Internal Organs with Steady-State Kalman Filter (2019)
  • Author(s): Yudai Sasaki, Fumio Eura, Kento Kobayashi, Ryosuke Kondo, Kyohei Tomita, Yu Nishiyama, Hiroyuki Tsukihara, Naoki Matsumoto, and Norihiro Koizumi
  • Journal Title: Proc. of 2019 IEEE Healthcare Innovations and Point of Care Technologies Conference (HI-POCT) Volume: 2019 Pages: 29-32
  • DOI: 10.1109/hi-poct45284.2019.8962758
  • Peer Reviewed / Open Access
• [Presentation] Estimating 3-dimensional liver motion using deep learning and 2-dimensional ultrasound images (2020)
  • Author(s): S. Yagasaki, N. Koizumi, Y. Nishiyama, R. Kondo, T. Imaizumi, N. Matsumoto, M. Ogawa, K. Numata
  • Organizer: 34th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2020)
  • Int'l Joint Research
• [Presentation] Contact state adjustment method to enhance organ motion compensation performance for a bed-type ultrasound diagnostic and therapeutic robot (2020)
  • Author(s): K. Kobayashi, N. Koizumi, Y. Sasaki, T. Kobayashi, Y. Watanabe, J. Zhou, A. Otsuka, Y. Nishiyama, H.Tsukihara, N. Matsumoto, H. Miyazaki, K. Numata, H. Nagaoka, T. Iwai, H. Iijima
  • Organizer: 34th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2020)
  • Int'l Joint Research
• [Presentation] Classification of hepatic hemangiomas and blood vessels from ultrasonography by deep learning (2020)
  • Author(s): K. Kusahara, N. Koizumi, Y. Nishiyama, T. Imaizumi, R. Saito, S. Yagasaki, N. Matsumoto, M. Ogawa
  • Organizer: 34th International Congress and Exhibition on computer assisted radiology and surgery (CARS 2020)
  • Int'l Joint Research
• [Presentation] Development of Ultrasound Robot for Automatic Acquisition of Ultrasound Images (2020)
  • Author(s): Jiayi Zhou, Kento Kobayashi, Yusuke Watanabe, Takumi Fujibayashi, Momoko Matsuyama, Miyu Yamada, Hiroyuki Tsukihara, Yu Nishiyama, Norihiro Koizumi
  • Organizer: 16th Annual Asian Conference on Computer Aided Surgery (ACCAS2020)
  • Int'l Joint Research
• [Presentation] Study on automatic aquisition of diagnostic images by ultrasound diagnostic robot (2020)
  • Author(s): Yusuke Watanabe, Norihiro Koizumi, Yudai Sasaki, Kento Kobayashi, Takahiro Kobayashi, Zhou Jiayi, Yu Nishiyama, Hiroyuki Tsukihara, Kazushi Numata, Hideyuki Iijima, Toshiyuki Iwai, Hidetoshi Nagaoka
  • Organizer: 16th Annual Asian Conference on Computer Aided Surgery (ACCAS2020)
  • Int'l Joint Research
• [Presentation] Development of Ultrasound Robot for Automatic Acquisition of Ultrasound Images (2020)
  • Author(s): Ryosuke Saito, Norihiro Koizumi, Yu Nishiyama, Tsubasa Imaizumi, Kenta Kusahara, Shiho Yagasaki, Masahiro Ogawa, Naoki Matsumoto, Development of Ultrasound Robot for Automatic Acquisition of Ultrasound Images
  • Organizer: 16th Annual Asian Conference on Computer Aided Surgery (ACCAS2020)
  • Int'l Joint Research
• [Presentation] A contact state adjustment method to enhance organ motion compensation performance for a bed-type ultrasound diagnostic and therapeutic robot (2020)
  • Author(s): Kento Kobayashi, Yusuke Watanabe, Jiayi Zhou, Takumi Fujibayashi, Momoko Matsuyama, Miyu Yamada, Hiroyuki Tsukihara Hideyuki Iijima, Norihiro Koizumi
  • Organizer: 16th Annual Asian Conference on Computer Aided Surgery (ACCAS2020)
  • Int'l Joint Research
• [Presentation] Deep Learning Based 3-Dimensional Liver Motion Estimation Using 2-Dimensional Ultrasound Images (2019)
  • Author(s): Tsubasa Imaizumi, Ryosuke Kondo, Kenta Kusahara, Yu Nishiyama, Hiroyuki Tsukihara, Naoki Matsumoto, Kazushi Numata, Norihiro Koizumi
  • Organizer: 2019 IEEE International Conference on Cyborg and Bionic Systems (CBS 2019)
  • Int'l Joint Research
• [Presentation] Lesion Tracking Method Using CNN in Non-Invasive Ultrasound Diagnostic Treatment Integrated System (2019)
  • Author(s): Riki Igarashi, Kyohei Tomita, Yu Nishiyama, Yuka Shigenari, Norihiro Koizumi
  • Organizer: 2019 IEEE International Conference on Cyborg and Bionic Systems (CBS 2019)
  • Int'l Joint Research
• [Presentation] Development of Bed-Type Ultrasound Diagnosis and Therapeutic Robot (2019)
  • Author(s): Kento Kobayashi, Yudai Sasaki, Fumio Eura, Ryosuke Kondo, Kyohei Tomita, Takahiro Kobayashi, Yusuke Watanabe, Akihide Otsuka, Hiroyuki Tsukihara, Naoki Matsumoto, Kazushi Numata, Hidetoshi Nagaoka, Toshiyuki Iwai, Hideyuki Iijima, Yu Nishiyama, Norihiro Koizumi
  • Organizer: 2019 IEEE International Conference on Cyborg and Bionic Systems (CBS 2019)
  • Int'l Joint Research
• [Presentation] Matching axial images of magnetic resonance imaging and transrectal ultrasound based on deep learning (2019)
  • Author(s): Riki Igarashi, Norihiro Koizumi, Yu Nishiyama, Kyohei Tomita, Yuka Shigenari, Sunao Shoji
  • Organizer: 33rd International Congress and Exhibition on computer assisted radiology and surgery (CARS 2019)
  • Int'l Joint Research
• [Presentation] Segmentation of liver parenchyma in ultrasound images for automatic diagnosis of liver cirrhosis (2019)
  • Author(s): Tsubasa Imaizumi, Norihiro Koizumi, Yu Nishiyama, Naoki Matsumoto, Masahiro Ogawa
  • Organizer: 33rd International Congress and Exhibition on computer assisted radiology and surgery (CARS 2019)
  • Int'l Joint Research
• [Remarks] 小泉 憲裕の研究ブログ
  • URL: http://blog2009nkoizumi.japanprize.jp/
• [Remarks] 電気通信大学 小泉憲裕研究室
  • URL: http://www.medigit.mi.uec.ac.jp/
• [Remarks] 電気通信大学 小泉憲裕研究室
  • URL: http://www.medigit.mi.uec.ac.jp
• [Remarks] 小泉憲裕の研究ブログ
  • URL: http://blog2009nkoizumi.japanprize.jp
• [Patent(Industrial Property Rights)] 超音波治療診断方法、プログラムおよび患部追従評価方法 (2021)
  • Inventor(s): 小泉憲裕, 大塚研秀, 西山 悠, 月原弘之, ほか３名
  • Industrial Property Rights Holder: 小泉憲裕, 大塚研秀, 西山 悠, 月原弘之, ほか３名
  • Industrial Property Rights Type: 特許
  • Filing Date: 2021