• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

対話型ハンズフリーマニュアルの開発(人工知能と拡張現実の応用による)

Research Project

Project/Area Number 20K13886
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 09010:Education-related
Research InstitutionTeikyo University

Principal Investigator

伊藤 奈々  帝京大学, 公私立大学の部局等, 助教 (10711476)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2020: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords音声ガイダンス / 画像認識 / 定量的評価 / HFマニュアル / 画像解析 / 完全音声制御式HFマニュアル / 拡張現実 / 人工知能 / 対話型ハンズフリーマニュアル
Outline of Research at the Start

本研究は、医療事故を防ぐ目的で、必要とするときに必要な情報を提示でき、作業が正しく行われたかを判定し、医療技術者に操作が正しくないことを提示しアラーム発生する、「拡張現実(Augmented Reality:AR)を用いた対話型医療用ハンズフリーマニュアルの開発」を目的とし、「確認を怠った」「判断を誤った」「知識が不足していた」などが原因で起こる医療事故を減らすことを最終的な目標として行っている。音声認識によるページ検索機能と作業結果の判定が可能なハンズフリーマニュアルが実現すると医療事故が激減することが期待される。

Outline of Annual Research Achievements

本研究は、医療事故を防ぐ目的で、必要とするときに必要な情報を提示でき、作業が正しく行われたかを判定し、医療技術者に操作が正しくないことを提示しアラーム発生する、「拡張現実(Augmented Reality:AR)を用いた対話型医療用ハンズフリーマニュアルの開発」を目的とし、「確認を怠った」「判断を誤った」「知識が不足していた」などが原因で起こる医療事故を減らすことを最終的な目標として行っている。本研究は、現在までに試作したハンズフリーマニュアル(HFマニュアル)に音声により必要な情報を提示する音声認識機能と、作業の結果を画像認識により判定する機能を組み込み、これに血液回路の組み立てに関するコンテンツを搭載して開発し、医療技術の経験のない学生にこれを用いた作業を課し、習熟のスピード、作業の正確さ、作業時間短縮などについて他の方式によるマニュアルと比較評価する。
当該年度の研究実績として、音声ガイダンスの教育効果についての検討と画像認識による作業結果の判断の検討を行った。音声ガイダンスの教育効果の結果は、音声ガイダンスは常時必須ではなく、操作者の能力と作業の難易度によって変更することが好ましいということが明らかになった。画像認識による作業結果の判断の結果は、MATLABを用いて画像処理を行うことで材料の組み立て部の良否判定が可能であった。また、さらに産業用の製品検品用カメラを応用することで、リアルタイムで組み立て部の良否判定ができることを確認できた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

MATLABの画像認識用関数により、組み立て材料の接続の良否判定が可能になった。また、その発展として、さらに産業用の製品検品用カメラを応用することで、リアルタイムで組み立て部の良否判定ができることを確認でき、プレテストまで実施できたため。

Strategy for Future Research Activity

今後の研究は、医療機器・医療材料の組み立て作業の良否判定システムの検討である。当初は、スマートグラスに搭載されたカメラを利用して組み立て作業の判定を実施予定であったが、スマートグラスのカメラでは解像度の問題等があり、使用できないことが明らかになった。そのため、今後は別の産業用のカメラと画像認識システムを応用して良否判定システムを完成させる予定である。前年度までにプレテストとして一か所の良否判定が可能であることが明らかになったため、今年度は、判定箇所の決定と良否の範囲を規定し、目視での判定との比較を実施する予定である。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (6 results)

All 2024 2023 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (4 results)

  • [Journal Article] The usefulness of pre-processing for detection for grasping position of forceps - Emergency Secession from During Hemodialysis-2023

    • Author(s)
      Kamijo Fuminori、Takeda Sunao、Itoh Nana、Kano Takashi、Ando Yuki、Tanaka Yukako、Shimamine Tetsuya、Kasai Ryosuke、Ogino Minoru、Hinata Nae、Tanaka Kohei、Shinohara Kazuhiko
    • Journal Title

      Iryou kikigaku (The Japanese journal of medical instrumentation)

      Volume: 93 Issue: 1 Pages: 42-49

    • DOI

      10.4286/jjmi.93.42

    • ISSN
      1882-4978, 1884-054X
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] 対話型AR化ハンズフリーマニュアルの学習効果ー医療技術者教育におけるAR技術の応用ー2021

    • Author(s)
      伊藤奈々、武田朴、笠井亮佑、上條史記、加納敬、島峰徹也、荻野稔、日向奈惠、篠原一彦、田仲浩平
    • Journal Title

      医療機器学

      Volume: 91 Pages: 489-498

    • NAID

      40022804303

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] 動画再生機能付きハンズフリーマニュアルの教育効果について2024

    • Author(s)
      下川原悠人、伊地知優太、伊藤奈々
    • Organizer
      第34回 日本臨床工学会
    • Related Report
      2023 Research-status Report
  • [Presentation] ハンズフリーマニュアルの医療教育への応用2023

    • Author(s)
      伊藤奈々
    • Organizer
      帝京大学研究交流シンポジウム
    • Related Report
      2023 Research-status Report
  • [Presentation] ハンズフリーマニュアルを用いた視覚・聴覚刺激による学習効果の検討2023

    • Author(s)
      岩永侑実子 吉武七夏 新屋哉人 槇野天太 稲富春花 宮川諒也 伊藤奈々
    • Organizer
      第18回 九州臨床工学会
    • Related Report
      2023 Research-status Report
  • [Presentation] 画像認識による医療材料の組み立ての合否判定について2023

    • Author(s)
      宮川諒也 岩永侑実子 吉武七夏 新屋哉人 槇野天太 稲富春花 伊藤奈々
    • Organizer
      第18回 九州臨床工学会
    • Related Report
      2023 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi