2023 Fiscal Year Research-status Report
対話型ハンズフリーマニュアルの開発（人工知能と拡張現実の応用による）
| Project/Area Number |
20K13886
|
|---|
| Research Institution | Teikyo University |
|---|
Principal Investigator |
伊藤 奈々 帝京大学, 公私立大学の部局等, 助教 (10711476)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 音声ガイダンス / 画像認識 |
|---|
| Outline of Annual Research Achievements |
本研究は、医療事故を防ぐ目的で、必要とするときに必要な情報を提示でき、作業が正しく行われたかを判定し、医療技術者に操作が正しくないことを提示しアラーム発生する、「拡張現実(Augmented Reality:AR)を用いた対話型医療用ハンズフリーマニュアルの開発」を目的とし、「確認を怠った」「判断を誤った」「知識が不足していた」などが原因で起こる医療事故を減らすことを最終的な目標として行っている。本研究は、現在までに試作したハンズフリーマニュアル（HFマニュアル）に音声により必要な情報を提示する音声認識機能と、作業の結果を画像認識により判定する機能を組み込み、これに血液回路の組み立てに関するコンテンツを搭載して開発し、医療技術の経験のない学生にこれを用いた作業を課し、習熟のスピード、作業の正確さ、作業時間短縮などについて他の方式によるマニュアルと比較評価する。
当該年度の研究実績として、音声ガイダンスの教育効果についての検討と画像認識による作業結果の判断の検討を行った。音声ガイダンスの教育効果の結果は、音声ガイダンスは常時必須ではなく、操作者の能力と作業の難易度によって変更することが好ましいということが明らかになった。画像認識による作業結果の判断の結果は、MATLABを用いて画像処理を行うことで材料の組み立て部の良否判定が可能であった。また、さらに産業用の製品検品用カメラを応用することで、リアルタイムで組み立て部の良否判定ができることを確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
MATLABの画像認識用関数により、組み立て材料の接続の良否判定が可能になった。また、その発展として、さらに産業用の製品検品用カメラを応用することで、リアルタイムで組み立て部の良否判定ができることを確認でき、プレテストまで実施できたため。
|
| Strategy for Future Research Activity |
今後の研究は、医療機器・医療材料の組み立て作業の良否判定システムの検討である。当初は、スマートグラスに搭載されたカメラを利用して組み立て作業の判定を実施予定であったが、スマートグラスのカメラでは解像度の問題等があり、使用できないことが明らかになった。そのため、今後は別の産業用のカメラと画像認識システムを応用して良否判定システムを完成させる予定である。前年度までにプレテストとして一か所の良否判定が可能であることが明らかになったため、今年度は、判定箇所の決定と良否の範囲を規定し、目視での判定との比較を実施する予定である。
|
| Causes of Carryover |
当初、国際学会に参加予定だったが参加できなくなったため。次年度使用額は2024年度の研究成果として使用する。英文誌に投稿予定である。
|
