• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A multimodal analysis of joint actions in surgical team interactions: developing an AR simulator for resilient healthcare

Research Project

Project/Area Number 23K24576
Project/Area Number (Other) 22H03318 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 58010:Medical management and medical sociology-related
Research InstitutionYokohama City University

Principal Investigator

土屋 慶子  横浜市立大学, 国際教養学部(教養学系), 教授 (20631823)

Co-Investigator(Kenkyū-buntansha) 中村 京太  大阪大学, 医学部附属病院, 特任教授(常勤) (00287731)
佐藤 仁  横浜市立大学, 附属市民総合医療センター, 講師 (70453040)
安部 猛  福島県立医科大学, 公私立大学の部局等, 教授 (80621375)
齊藤 剛史  九州工業大学, 大学院情報工学研究院, 教授 (10379654)
冬野 美晴  九州大学, 芸術工学研究院, 准教授 (30642681)
種市 瑛  立教大学, 外国語教育研究センター, 教育講師 (80833235)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2024: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Keywords医療コミュニケーション / マルチモーダル分析 / 視線解析 / レジリエント・ヘルスケア / AR (augmented reality) / ヘルスコミュニケーション / 医療安全 / マルチモダリティ / 共同注視 / 談話・語用論研究
Outline of Research at the Start

本課題は医療の質と安全を向上するための比較的新しい考え方である、レジリエント・ヘルスケアの概念を援用した医療者間相互行為のマルチモーダル研究です。事故のリスクだけではなく、日常の上手くいっている医療行為に着目し、医療者たちがそのような臨機応変な実践をいかに可能にしているのかに注目します。具体的には、手術チームのコミュニケーション・データを収録して、言葉、動作、視線などのマルチモーダルな要素を分析し、チームメンバー間で状況認識を共有する過程を明らかにします。複数視線情報を解析するためのシステム開発や、AR(augmented reality)を用いた医療シミュレータの試作も視野に入れています。

Outline of Annual Research Achievements

2023年度は、日英でのシミュレーションデータ収録、1つの論文掲載、5つの学会発表(うち3つは海外学会、ポスター発表3を含む)を行った。
2023年度前半は、日英にて2つの視線解析メガネ(医師と看護師が着用)と360カメラを使用し、小規模医療シミュレーション訓練データの収録を行った(6月に日本で3セッション、8月にUKで2セッション)。また日本での麻酔科シミュレーション・データをもとに、情報提示行為と視線追従行為を用いた共同基盤構築の過程を分析した論文をLanguage and Health創刊号に寄稿し、掲載された。
2023年度後半は、情報工学を専門とする研究分担者と研究室に所属する若手研究者が、深層学習を用いた視線解析支援システムに着手した。2つの視線解析メガネで収録した医師と看護師の視線データを統合的に分析するため、共同注視の対象を自動的にアノテーションするアプリケーションの開発を進めている。またシミュレーションの映像データから、複数医療者の頭部姿勢を推定するアプリケーションの開発も進めている。研究成果の一部を RCEM (Royal College of Emergency Medicine) Annual Scientific Conference 2023(9月)、ヘルスコミュニケーションウィーク2023(10月)、第18回医療の質・安全学会 学術集会(11月)、 CGIP(Computer Graphics and Image Processing) 2024 (12月)にて発表した。年間を通して、日本・英国の協力者とのプロジェクト・ミーティング(各3回)を行い、日本の病院での視察も継続している(計8回)。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

日本でのデータ収録はほぼ予定通りに進んでいるが、UKでの倫理承認に予想以上に時間がかかり、予定していた医療シミュレーション・シナリオの変更や進捗の遅れが生じている。

Strategy for Future Research Activity

2024年度前半は、これまで日英で収録したデータをもとに、医療チーム相互行為を共同注視と共通基盤構築に注目し分析を進め、論文投稿準備を進める。研究結果の一部を、ESTIDIA (European Society for Transcultural and Interdisciplinary Dialogue) Conference 2024にて発表予定(6月、ヴィリニュス、パネルセッションの企画)であり、またInternational Forum of Quality and Safety Healthcare Conference 2024 (8月、香港)、EUSEM (European Society of Emergency Medicine) Confernece 2024(10月、コペンハーゲン)に抄録を投稿済みである。研究協力者とともに、複数視線データの自動アノテーションと頭部姿勢推定のためのアプリケーション開発を継続し、またそれらを活用して医療チーム相互行為のマルチモーダル分析手法の確立を目指す。
研究代表者が2024年9月から1年間サバティカルを取得し在外研究に入るため、2024年度後半から2025年前半にかけて、研究プロジェクトの進捗を遅らせる予定である。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (11 results)

All 2023 2022 Other

All Int'l Joint Research (2 results) Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (7 results) (of which Int'l Joint Research: 3 results) Remarks (1 results)

  • [Int'l Joint Research] University of Nottingham/Nottingham Trent University(英国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] University of Nottingham/Nottingham Trent University(英国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Information presentation and gaze-following for grounding in simulated anaesthesia emergencies: A multimodal analysis.2023

    • Author(s)
      Tsuchiya, K., Sato, H., Nakamura, K., Abe, T., Fujii, A., Miyazaki, A., Okuyama.Y., & Kuwabara, D.
    • Journal Title

      Language and Health

      Volume: 1(1) Issue: 1 Pages: 10-31

    • DOI

      10.1016/j.laheal.2023.06.003

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Joint Attention Detection using First-Person Points-of-View Video2023

    • Author(s)
      Bise Kazuya, Takeshi Saitoh, Keiko Tsuchiya, Hitoshi Sato, Kyota Nakamura, Takeru Abe, Frank Coffey
    • Organizer
      CGIP(Computer Graphics and Image Processing) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Efficient Construction of Face Image Dataset for Head Pose Estimation2023

    • Author(s)
      Furuya Yuki, Takeshi Saitoh, Keiko Tsuchiya, Hitoshi Sato, Kyota Nakamura, Takeru Abe, Frank Coffey
    • Organizer
      CGIP(Computer Graphics and Image Processing) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] When a doctor and a nurse share their view in a simulated emergency care interaction: developing an automatic gaze annotation method for multiple eye-tracking data analysis.2023

    • Author(s)
      Coffey, F., Reilly, J., Mackenzie, A., Bise, K., Saitoh, T., Meredith, M., Ryan, L., Timmons, S., Tsuchiya, K.
    • Organizer
      RCEM (Royal College of Emergency Medicine) Annual Scientific Conference 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 麻酔科シミュレーションでの共同意味付けによる言語身体性の習得:情報提示行為と交互凝視行動のマルチモーダル分析2023

    • Author(s)
      土屋慶子, 佐藤仁, 中村京太, 藤井ありさ, 桑原大, 奥山由佳
    • Organizer
      ヘルスコミュニケーションウィーク2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] AI技術を用いた手術チームの共同行為分析:医療者間共同注視と相互凝視の自動検出方法の検討2023

    • Author(s)
      佐藤仁, 中村京太, 安部猛, 備瀬和也, 古谷優樹, 齊藤剛史, 土屋慶子
    • Organizer
      第18回医療の質・安全学会 学術集会
    • Related Report
      2023 Annual Research Report
  • [Presentation] CVC穿刺挿入学習のための没入型VRシミュレータ開発の試み:マルチモダリティと身 体化認知の視点から.2022

    • Author(s)
      佐藤仁, 中村京太, 安部猛, 藤井ありさ, 宮崎敦, 冬野美晴, ブランコ・ラウラ, 土屋慶子
    • Organizer
      第17回医療の質・安全学会 学術集会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 麻酔科医の視線行動を含むマルチモーダル分析に向けて: ウェアラブルカメラによる共同注視探索の試み.2022

    • Author(s)
      備瀬和也, 齊藤剛史, 土屋慶子, 佐藤仁, 中村京太, 安部猛, 藤井ありさ, 宮崎敦
    • Organizer
      第14回日本ヘルスコミュニケーション学会学術集会
    • Related Report
      2022 Annual Research Report
  • [Remarks] EYEWORK Project

    • URL

      https://www-user.yokohama-cu.ac.jp/~ktsuchiy/wp/index.php/eye-work-project/

    • Related Report
      2023 Annual Research Report 2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi