Gaze in emergency care interaction: a Japan-UK multimodal research project

• Project/Area Number: 17KT0062
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund
• Section: 特設分野
• Research Field: Orality and Society
• Research Institution: Yokohama City University
• Principal Investigator: 土屋 慶子 横浜市立大学, 国際教養学部(教養学系), 教授 (20631823)
• Co-Investigator(Kenkyū-buntansha): 中村 京太 横浜市立大学, 付属市民総合医療センター, 教授 (00287731) ; 冬野 美晴 九州大学, 芸術工学研究院, 准教授 (30642681) ; 齊藤 剛史 九州工業大学, 大学院情報工学研究院, 教授 (10379654) ; 安部 猛 福島県立医科大学, 総合科学教育研究センター, 教授 (80621375)
• Project Period (FY): 2017-07-18 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥18,200,000 (Direct Cost: ¥14,000,000、Indirect Cost: ¥4,200,000); Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2019: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000); Fiscal Year 2018: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000); Fiscal Year 2017: ¥9,750,000 (Direct Cost: ¥7,500,000、Indirect Cost: ¥2,250,000)
• Keywords: マルチモーダル分析 / ヘルスコミュニケーション / 視線解析 / 談話分析 / 語用論 / 会話分析 / VRシミュレータ / 医療コミュニケーション / 医療の質と安全 / レジリエント・ヘルスケア / 相互行為の言語学 / 依頼行為 / VR (virtual reality) / 医療レジリエンス / 共同行為 / 会話・談話分析 / マルチモーダル・コーパス / 救急医療コミュニケーション / マルチモダリティ / 視線を含むマルチモーダル・コーパス分析 / シミュレーション教育 / 応用言語学

Outline of Annual Research Achievements

2023年度は編集本の出版準備（Springer）と、2つの学会で研究発表を行った（International Pragmatics Association Conference 2023でのパネルセッションと第48回社会言語科学会研究大会での若手研究協力者による発表）。また昨年Bloomsburyより出版した編集本の１章を、日本語の章論文として掲載予定である。

本課題全体の実績概要としては、コロナ感染症拡大による進捗遅延のため、2017年度後半から2023年度まで７年間に及ぶプロジェクトとなった。その間に２冊の編集本（１冊は出版準備中）、７つの査読付き論文（国際誌６、国内学術誌１）、20の学会発表（国際学会11、国内学会9、招へい講演１とポスター発表6を含む）にて、研究結果を公表した。また2019年９月と2023年３月に、UK側研究協力者2名ずつを招聘し、ヘルスコミュニケーションと安全管理をテーマとした国際ワークショックを２回企画・主催した。

日英の大学病院にて、多職種の医療者から成る救急医療チームによるシミュレーション訓練のデータを、視線解析メガネ（リーダーが着用）と複数のビデオカメラ（360度カメラを含む）を用いて収録した（英国４、日本２、各18分程度）。研究分担・協力者である日英の救急医師とシミュレーションのシナリオを検討し、経験豊富なチーム・リーダーと若手のチーム・リーダーが参加するシミュレーション・データを収録した。収録した視線カメラのデータを用いて、チーム医療相互行為において、リーダーとメンバーがいかに情報を共有し、意思決定を行っているのかを問いに、依頼行為や談話フレームに注目し、発話だけでなく視線やジェスチャなどを含むマルチモーダルな要素を統合的に比較分析した。また視線の自動アノテーション・システムの開発、及びVR医療シミュレータのプロトタイプ制作を行った。

Research Products

• [Int'l Joint Research] University of Nottingham/Nottingham Trent University/Aston University(英国)
• [Int'l Joint Research] University of Nottingham/Nottingham Trent University/Aston University(英国)
• [Int'l Joint Research] Nottingham University/Nottingham Trent University(英国)
• [Int'l Joint Research] University of Nottingham/Nottingham Trent University(英国)
• [Int'l Joint Research] Nottingham University/Nottingham Trent University(英国)
• [Int'l Joint Research] University of Nottingham/Nottingham Trent University(英国)
• [Int'l Joint Research] University of Nottingham/Nottingham Trent University(英国)
• [Journal Article] Action request episodes in trauma team interactions in Japan and the UK: A multimodal analysis of joint actions in medical simulation (2022)
  • Author(s): Tsuchiya, K., F. Coffey, K. Nakamura, A. Mackenzie, S. Atkins, M. Chalupnik, A. Whitfield, T. Sakai, S. Timmons, S, T. Abe, T. Saitoh, A. Taneichi, M. Vernon and D. Crundall, M. Fuyuno
  • Journal Title: Journal of Pragmatics Volume: In Press Pages: 101-118
  • DOI: 10.1016/j.pragma.2022.04.009
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Framing trauma leaders’ request in emergency care interactions: A multimodal analysis using eye-tracking glasses (2021)
  • Author(s): Keiko Tsuchiya, Frank Coffey, Andrew Mackenzie. Sarah Atkins, Malgorzata Chalupnik, Stephen Timmons, Alison Whitfield, Mike Vernon, David Crundall
  • Journal Title: Communication and Medicine Volume: in press
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] A team leader’s gaze before and after making requests in emergency care simulation: a case study with eye-tracking glasses (2020)
  • Author(s): Nakamura Kyota、Sakai Takuma、Abe Takeru、Saitoh Takeshi、Coffey Frank、MacKenzie Andrew、Taneichi Akira、Tsuchiya Keiko
  • Journal Title: BMJ Simulation and Technology Enhanced Learning Volume: Online first Issue: 6 Pages: 000561-000561
  • DOI: 10.1136/bmjstel-2019-000561
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] 救急医療での非言語行為解析のためのチームリーダーの視線分析 (2020)
  • Author(s): 土屋慶子、種市瑛、中村京太、酒井拓磨、安部 猛、齊藤剛史
  • Journal Title: 電子情報通信学会技術研究報告 Volume: 119(415) Pages: 33-36
• [Journal Article] A leader’s request and rapport in emergency care simulation: a multimodal corpus analysis. (2019)
  • Author(s): Tsuchiya Keiko、Taneichi Akira、Nakamura Kyota、Sakai Takuma、Abe Takeru、Saitoh Takeshi
  • Journal Title: The Journal of the Japanese Association of Health Communication. Volume: 10(1) Pages: 36-41
  • Peer Reviewed
• [Journal Article] Account sequences in emergency care discourse: Comparing conversations with simulated patients and manikins in training sessions (2019)
  • Author(s): Tsuchiya Keiko、Coffey Frank、Timmons Stephen、Atkins Sarah、Baxendale Bryn、Adolphs Svenja
  • Journal Title: Journal of Applied Linguistics and Professional Practice Volume: 12 Issue: 1 Pages: 72-93
  • DOI: 10.1558/jalpp.36884
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Analysing voice quality and pitch in interactions of emergency care simulation (2017)
  • Author(s): Coffey F, Tsuchiya K, Timmons S, Baxendale B, Adolphs S, Atkins S.
  • Journal Title: BMJ Simulation & Technology Enhanced Learning Volume: Online First Issue: 4 Pages: 196-200
  • DOI: 10.1136/bmjstel-2017-000212
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Communicating with gaze in emergency care: a multimodal analysis. (2017)
  • Author(s): Tsuchiya K, Coffey F, Timmons S, Adolphs S, Atkins S.
  • Journal Title: The Journal of the Japanese Association of Health Communication. Volume: 8 Pages: 81-90
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] [Panel Chair] Emerging otherness in social interactions: Multimodal and multicultural approaches, (2023)
  • Author(s): Tsuchiya Keiko, Valentina Fantasia
  • Organizer: 18th International Pragmatics Conference, July 2023
  • Int'l Joint Research
• [Presentation] [Panel Talk] When a proposal is rejected: Distributing deontic rights in emergency care team interactions in Japan and the UK, (2023)
  • Author(s): Tsuchiya Keiko, Kyota Nakamura, Frank Coffey
  • Organizer: 18th International Pragmatics Conference, July 2023
  • Int'l Joint Research
• [Presentation] 救命救急医療チームのシミュレーションに見られる沈黙：リーダーの指示に対する応答の働きと共通基盤の構築過程にもとづく考察 (2023)
  • Author(s): 種市 瑛
  • Organizer: 第48回社会言語科学会研究大会, 2024年3月
• [Presentation] [Panel Session] Emancipatory practices in health and well-being communication research: dialogues on multiculturality, multidisciplinarity and multimodality (2022)
  • Author(s): Keiko Tsuchiya
  • Organizer: The 6th ESTIDIA Conference
  • Int'l Joint Research
• [Presentation] [Panel Talk] Frame Analysis: Gaze and multimodality in emergency care interaction: different frames in trauma leaders’ information sharing practice between UK and Japan (2022)
  • Author(s): Keiko Tsuchiya, Akira Taneichi
  • Organizer: The 6th ESTIDIA Conference
  • Int'l Joint Research
• [Presentation] Predictability and coordinated actions in emergency care interactions: trauma leaders’ meta-episodic gaze projection (2022)
  • Author(s): Keiko Tsuchiya, Frank Coffey, Alison Whitfield
  • Organizer: 20th International and Interdisciplinary Conference on Communication, Medicine and Ethics (COMET)
  • Int'l Joint Research
• [Presentation] CVC穿刺挿入学習のための没入型VRシミュレータ開発の試み：マルチモダリティと身体化認知の視点から (2022)
  • Author(s): 佐藤仁, 中村京太, 安部猛, 藤井ありさ, 宮崎敦, 冬野美晴, ブランコ・ラウラ, 土屋慶子
  • Organizer: 第17回医療の質・安全学会 学術集会
• [Presentation] 日英救急医療チーム・インタラクションでの共同行為はいかに可能か － 視線解析メガネを用いたチーム・ リーダーの依頼行為パターン分析 (2021)
  • Author(s): 中村京太, 酒井拓磨, 安部猛, 齊藤剛史, 冬野美晴, Frank Coffey, Andrew MacKenzie, 土屋慶子, 種市瑛
  • Organizer: 第16回医療の質・安全学会 学術集会
• [Presentation] 配信型・伝播型情報共有と再帰的共通基盤：日英 救急医療シミュレーションでのリーダーの発話・視線を含むマルチモーダル分析 (2021)
  • Author(s): 土屋慶子
  • Organizer: 日本英語学会 第39回大会
• [Presentation] 麻酔科シミュレーションでの共通基盤構築と情報提示行為：ヴァーチャル・リアリティを用いたシミュレータ制作のための事前研究 (2021)
  • Author(s): 土屋慶子, 佐藤仁, 中村京太, 藤井ありさ, 桑原大輔, 奥山由佳, Andrew Mackenzie, James Myers, 安部猛, 冬野美晴
  • Organizer: 第 13 回日本ヘルスコミュニケーション学会学術集会
• [Presentation] [Panel Session] The pragmatics for co-constructing healthcare in the global and diverse societies: crossing, or transforming, boundaries in healthcare communication (2021)
  • Author(s): Tsuchiya, K, Atkins, S
  • Organizer: The17th International Pragmatics Conference
  • Int'l Joint Research
• [Presentation] Requesting immediate actions in emergency care simulation: A multimodal analysis of team interactions with eye-tracking glasses (2021)
  • Author(s): Keiko Tsuchiya, Frank Coffey, Sarah Atkins, Malgorzata Chalupnik, Alison Whitfield, Stephen Timmons, Andrew Mackenzie, Mike Vernon, David Crundall
  • Organizer: 19th International and Interdisciplinary Conference on Communication, Medicine, and Ethics
  • Int'l Joint Research
• [Presentation] 救急医療チーム・リーダーは診療中モニタをどのくらい注視しているのか： 視線解析メガネを用いたリーダーの視線と依頼発話の分析 (2020)
  • Author(s): 中村京太, 酒井拓磨, 安部猛, 齊藤剛史, 土屋慶子, 種市瑛
  • Organizer: 第15回 医療の質・安全学会 学術集会
• [Presentation] A leader's gaze and pointing gestures to request actions in emergency care interactions: describing multimodal gestalts (2020)
  • Author(s): Tsuchiya, K.
  • Organizer: International Society for Gesture Studies - Hong Kong Online Seminar Series
  • Int'l Joint Research
• [Presentation] 依頼行為のための相互行為空間創出：救急医療シミュレーションでのチームリーダーの視線と立ち位置を含むマルチモーダル分析 (2020)
  • Author(s): 土屋慶子, 種市瑛, 中村京太, 酒井拓磨, 安部猛, 齊藤剛史
  • Organizer: 第 12 回日本ヘルスコミュニケーション学会学術集会
• [Presentation] 救急医療での非言語行為解析のためのチームリーダ ーの視線分析 (2020)
  • Author(s): 土屋慶子, 種市瑛, 中村京太, 酒井拓磨, 安部 猛, 齊藤剛史
  • Organizer: 言語理解とコミュニケーション研究会（NLC）
• [Presentation] 視線解析メガネを用いた救急医療インタラクション分析：チームリーダーの視線とコミュニケーション・チャネルの確立 (2019)
  • Author(s): 酒井 拓磨, 中村 京太, 安部 猛, 齊藤 剛史, 竹内 一郎, 土屋 慶子, 種市 瑛
  • Organizer: 第14回 医療の質・安全学会学術集会
• [Presentation] 視線解析を用いた救急医療インタラクションのマルチモーダル分析：メンバーの促し行為とリーダーの指示行為 (2019)
  • Author(s): 土屋慶子, 種市瑛, 酒井拓磨, 中村京太, 安部猛, 齊藤剛史
  • Organizer: 第11回日本ヘルスコミュニケーション学会 学術集会
• [Presentation] Projection with gaze: subjectivity and intersubjectivity in emergency care interaction (2019)
  • Author(s): Tsuchiya, K, Atkins, S, Coffey, F, Timmons, S. Mackenzie, A, Crundall, D
  • Organizer: British Association of Applied Linguistics (BAAL) Conference
  • Int'l Joint Research
• [Presentation] Automatic coding of a team leader’s eyegaze in emergency care simulation: developing a multimodal corpus with the sceneAnalysis GUI (2019)
  • Author(s): Tsuchiya, K, Saitoh, T, Nakamura, K, Sakai, T, Abe, T, Taneichi, A
  • Organizer: The 10th International Corpus Linguistics Conference (CL2019)
  • Int'l Joint Research
• [Presentation] Standardising pragmatic competences in healthcare: Evidence from communication skills training in emergency medicine in the UK and Japan. (2019)
  • Author(s): Atkins, S, Chalupnik, M, Tsuchiya, K
  • Organizer: The16th International Pragmatics Conference
  • Int'l Joint Research
• [Presentation] Capturing a leader's view in emergency care simulation: developing a GUI for automatic gaze coding (2019)
  • Author(s): Nakamura K, Sakai T, Abe T, Saitoh T, Taneichi A, Tsuchiya K
  • Organizer: International Forum on Quality and Safety in Healthcare 2019
  • Int'l Joint Research
• [Presentation] Request and rapport in emergency care simulation training. (2019)
  • Author(s): Tsuchiya, K, Taneichi, A
  • Organizer: The 1st International Workshop of Health Communication and Safety
• [Presentation] Projection in emergency care interaction: a leader’s gaze (2018)
  • Author(s): Coffey, F., Tsuchiya, K. Atkins, S., Mackenzie, A., Crundall, D. and Timmons, S.
  • Organizer: Association for Simulated Practice in Healthcare (ASPiH) Conference 2018
  • Int'l Joint Research
• [Presentation] Analysing a leader’s eye gaze in emergency care simulation. (2018)
  • Author(s): Sakai, T., Nakamura, K., Abe, T., Saitoh, T., Taneichi, A. and Tsuchiya, K.
  • Organizer: International Forum on Quality and Safety in Healthcare 2018
  • Int'l Joint Research
• [Presentation] Making requests in emergency care simulation: gaze and politeness strategies as turn allocation devices. (2018)
  • Author(s): Tsuchiya, K., Taneichi, A., Nakamura, K., Sakai, T., Abe, T., and Saitoh, T.
  • Organizer: The 10th Conference of Japanese Association of Health Communication
• [Book] Exploring Health and Well-Being Communication in Japanese Context: Culture, Language and Multimodality (2024)
  • Author(s): Tsuchiya, K. (Ed.) (in preparation)
  • Publisher: Springer
• [Book] Multimodal Approaches to Healthcare Communication Research: Visualising Interactions for Resilient Healthcare in the UK and Japan (2023)
  • Author(s): Keiko Tsuchiya, Frank Coffey, Kyota Nakamura (Eds.)
  • Total Pages: 216
  • Publisher: Bloomsbury Academic
  • ISBN: 9781350298477
• [Remarks] The EYEWORK Project
  • URL: https://www-user.yokohama-cu.ac.jp/~ktsuchiy/wp/index.php/eye-work-project/
• [Remarks] The EYE WORK Project
  • URL: http://www-user.yokohama-cu.ac.jp/~ktsuchiy/wp/index.php/eye-work-project/
• [Funded Workshop] The 2nd International Workshop of Health Communication and Safety (2023)
• [Funded Workshop] The 1st International Workshop of Health Communication and Safety (2019)