観測とシミュレーションの統合による手術手技モデリングと力覚ベース手技教示への応用

• Project/Area Number: 26730107
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Human interface and interaction
• Research Institution: Ritsumeikan University
• Principal Investigator: 丸谷 宜史 立命館大学, 立命館グローバル・イノベーション研究機構, 研究員 (30452311)
• Project Period (FY): 2014-04-01 – 2016-03-31
• Project Status: Discontinued (Fiscal Year 2015)
• Budget Amount: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2016: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2015: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2014: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 手術プロセス / 視線解析 / 行動クラスタリング / 力覚提示 / 手技教示 / 有限オートマトン

Outline of Annual Research Achievements

本研究では，内視鏡外科手術における熟練者の手技を手術プロセス単位でアーカイブ化することで，学習者が任意の手術プロセスにおける熟練者の手技をなぞることが可能な手技訓練支援システムの実現を目標としている．
今年度は，主にこれまで得られた医療シミュレータを用いた手術訓練における訓練者の手術手技および視線の観測結果を用いた手術プロセス認識手法の検討と，手術手技教示手法に関する実装・分析について取り組んだ．

これらの課題に対し，まずシミュレータから得られる操作ログおよび視線情報に対して，手術プロセスにおける鉗子や視線の位置・動き特徴に着目した分析を行った．具体的には，あらかじめ各手術プロセスにおける鉗子や視線のフレームにおける相対位置・フレーム間の変位をクラスタリングすることで，熟練者手術者の違いを明らかにするとともに，有限オートマトンを用いたプロセスの識別方法を提案した．
また，手術手技の教示については，牽引を伴う手術プロセスにおける熟練者の動きを力覚提示装置により，牽引力を教示する手法の提案・検証を行った．具体的には，訓練者の手の甲を力覚提示装置と接続し，熟練者との動きとの差分に応じて，訓練者の手の甲を力覚により誘導することで，教示を行う手法の提案を行った．このうち，力覚提示のタイミングとして，「熟練者との動きの差分が大きいときのみ」力覚を提示する「能動的訓練手法」と，「常に」力覚を提示する「受動的訓練手法」とを提案し，その違いについて確かめると，牽引時の目標「位置」の教示については前者が，牽引時の力の「大きさ」と「安定性」については後者がそれぞれ優位であるとの知見を得ることができた．

Research Products

• [Journal Article] Eye-Hand Coordination Analysis According to Surgical Process in Laparoscopic Surgery Training (2016)
  • Author(s): 3.Takafumi Marutani, Hiromi T. tanaka, Nobutaka Shimada, Masaru Komori, Yoshimasa Kurumi, Shigehiro Morikawa
  • Journal Title: Innovation in Medicine and Healthcare 2015 Volume: 4 Pages: 237-247
  • DOI: 10.1007/978-3-319-23024-5_22
  • ISBN: 9783319230238, 9783319230245
  • Peer Reviewed
• [Presentation] 力覚提示装置による能動的・受動的訓練を通じたＶＲ腹腔鏡下シミュレータ訓練中の器具操作教示 (2015)
  • Author(s): 丸谷宜史，田川和義，田中弘美，小森優，来見良誠，森川茂廣
  • Organizer: 第３回看護理工学会学術集会
  • Place of Presentation: 立命館大学（京都府京都市）
  • Year and Date: 2015-10-10
• [Presentation] ＶＲ腹腔鏡下手術訓練における力覚提示装置を用いた受動的・能動的訓練法の検討 (2015)
  • Author(s): 丸谷宜史, 加藤十磨，田川和義，田中弘美, 小森優, 来見 良誠, 森川茂廣
  • Organizer: 第１５回日本VR医学会学術大会
  • Place of Presentation: 京都大学（京都府京都市）
  • Year and Date: 2015-09-12
• [Presentation] Eye-Hand Coordination Analysis According to Surgical Process in Laparoscopic Surgery Training (2015)
  • Author(s): Takafumi Marutani, Hiromi T. tanaka, Nobutaka Shimada, Masaru Komori, Yoshimasa Kurumi, Shigehiro Morikawa
  • Organizer: Innovation in Medicine and Healthcare 2015 (InMed 2015)
  • Place of Presentation: Ritsumeikan University(Kyoto City, Kyoto)
  • Year and Date: 2015-09-11
  • Int'l Joint Research
• [Presentation] 手術プロセスに基づくVR腹腔鏡下手術訓練時の熟練者・初心者のアイハンドコーディネーション分析 (2015)
  • Author(s): 丸谷宜史, 島田伸敬, 田中弘美, 小森優, 来見 良誠, 森川茂廣
  • Organizer: MIRU2015 第18回画像の認識・理解シンポジウム
  • Place of Presentation: ホテル阪急エキスポパーク（大阪府吹田市）
  • Year and Date: 2015-07-27
• [Presentation] Evaluation of active and passive training with haptic device for laparoscopic surgery (2015)
  • Author(s): T. Marutani, T. Kato, K. Tagawa, H.T. Tanaka, M. Komori, Y. Kurumi
  • Organizer: Computer Assisted Radiology and Surgery (CARS2015)
  • Place of Presentation: Barcelona, Spain
  • Year and Date: 2015-06-24
  • Int'l Joint Research
• [Presentation] 腹腔鏡下手術映像中の手術器具・臓器位置を用いた手術プロセス認識 (2015)
  • Author(s): 丸谷宜史, 田中弘美, 小森優, 来見 良誠, 森川茂廣
  • Organizer: 電子情報通信学会MI研究会
  • Place of Presentation: 三重大学（三重県津市）
  • Year and Date: 2015-05-14
• [Presentation] 腹腔鏡下手術手技の暗黙知抽出のための熟練者・初心者の注視行動分析 (2015)
  • Author(s): 丸谷宜史, 大竹良明，平川晃大，田中弘美, 小森優, 来見 良誠, 森川茂廣
  • Organizer: 電子情報通信学会PRMU研究会
  • Place of Presentation: 三重大学（三重県津市）
  • Year and Date: 2015-05-14
• [Presentation] ＶＲシミュレータを用いた腹腔鏡下手術訓練支援フレームワーク (2014)
  • Author(s): 丸谷宜史，田川和義，島田伸敬，田中弘美，来見良誠，小森優，森川茂廣
  • Organizer: 第23回日本コンピュータ外科学会大会
  • Place of Presentation: 大阪大学（大阪府）
  • Year and Date: 2014-11-08
• [Presentation] Expert’s Gaze Points Estimation in Assessing Laparoscopic Surgical Skill (2014)
  • Author(s): Akifumi Nakamura, Takafumi Marutani, Kazuyoshi Tagawa, Hiromi T. Tanaka, Yoshimasa Kurumi, and Masaru Komori
  • Organizer: he 10th Joint Workshop on Machine Perception and Robotics (MPR2014)
  • Place of Presentation: Beijing,China
  • Year and Date: 2014-10-16
• [Presentation] 腹腔鏡下手術の技能分析・学習支援のための手術プロセス認識手法の検討 (2014)
  • Author(s): 丸谷宜史，田川和義，島田伸敬，田中弘美，小森優，来見良誠，森川茂廣
  • Organizer: 第二回看護理工学会学術集会
  • Place of Presentation: 大阪大学（大阪府）
  • Year and Date: 2014-10-05
• [Presentation] 6自由度力覚提示装置を用いた手術手技訓練支援の基礎的検討 (2014)
  • Author(s): 加藤十磨，田川和義，丸谷宜史，田中弘美，神田 輝，赤羽克仁，佐藤 誠
  • Organizer: 第19回日本バーチャルリアリティ学会大会
  • Place of Presentation: 名古屋大学（愛知県）
  • Year and Date: 2014-09-19
• [Presentation] 手術シミュレーションのための手首力覚提示装置に関する研究 (2014)
  • Author(s): 田上想馬，神田 輝，赤羽克仁，佐藤 誠，田中弘美，丸谷宜史
  • Organizer: 第19回日本バーチャルリアリティ学会大会
  • Place of Presentation: 名古屋大学（愛知県）
  • Year and Date: 2014-09-19
• [Presentation] VRシミュレータを用いた腹腔鏡下手術訓練支援のための手術プロセス認識・分析 (2014)
  • Author(s): 丸谷宜史，田川和義，島田伸敬，田中弘美，来見良誠，小森優，森川茂廣
  • Organizer: 第14回日本VR医学会学術大会
  • Place of Presentation: 東京大学（東京都）
  • Year and Date: 2014-09-13
• [Presentation] A study on recognizing surgical processes from training logs for VR Laparoscopic cholecystectomy surgery training support (2014)
  • Author(s): Takafumi Marutani, Kazuyoshi Tagawa, Nobutaka Shimada, Hiromi T. Tanaka, Yoshimasa Kurumi, Masaru Komori and Sigehiro Morikawa
  • Organizer: MIRU2014 第17回画像の認識・理解シンポジウム
  • Place of Presentation: 岡山コンベンションセンター（岡山県）
  • Year and Date: 2014-07-31
• [Presentation] A study on recognizing surgical processes for analyzing training logs in VR Laparoscopic cholecystectomy training (2014)
  • Author(s): Takafumi Marutani, Kazuyoshi Tagawa, Hiromi T. Tanaka, Yoshimasa Kurumi, Masaru Komori and Sigehiro Morikawa
  • Organizer: CARS2014
  • Place of Presentation: Fukuoka Convention Center, Fukuoka,Japan
  • Year and Date: 2014-06-26
• [Remarks] 手術手技モデリングに関する研究
  • URL: http://www.cv.ci.ritsumei.ac.jp/haptic/index.php?e=38