対話型ハンズフリーマニュアルの開発（人工知能と拡張現実の応用による）

2022 Fiscal Year Research-status Report

• Project/Area Number: 20K13886
• Research Institution: Teikyo University
• Principal Investigator: 伊藤 奈々 帝京大学, 公私立大学の部局等, 助教 (10711476)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 画像認識 / 定量的評価

Outline of Annual Research Achievements

本研究は、ハンズフリーマニュアルへの音声認識による検索機能の追加とスマートグラスのカメラ機能を利用し、画像認識システムを用いて操作手技を判定し定量的評価できるシステムを構築し、その有効性を明らかにすることである。本研究では、操作手技の判定として、医療材料の組み立て（血液透析回路と血液透析器の組み立て）とした。医療材料にマーキングを付け、正しく組み立てが行えたかどうかを画像認識システムを用いて実施するため、2021年度は、マーキングの素材や色、大きさについて検討を行った。2022年度の研究成果は、画像認識システムにより組み立ての正誤判定が可能になったことである。高い精度での判定が可能になった。
血液透析回路と血液透析器の組み立ては、その接続が緩すぎると治療中の血液漏れへとつながるため、本研究では、その漏れ始めるところを前研究として調査した。そして、回路側に縦、横５㎜の正方形の黄色のマーキングを付け、透析器側に縦５mm、横15㎜の長方形の黄色のマーキングを付けた。長方形のマーキング内に正方形の２つのマーキングが入っていれば漏れることはなく（正）、マーキング外に出ると漏れる（誤）として正誤判定を行った。画像認識システムはMATLABを用い、組み立てた材料を写真で撮影しパソコンへ取り込み、MATLABで画像解析を実施した。写真撮影は、スマートグラスのカメラ機能を利用する計画であったが、現状のスマートグラスのカメラの性能では、まだ画素数が低いため、今回はスマートフォンのカメラを用いた。
次年度は、マーキングの数を増やし一連の操作手技終了後、その操作手技を判定する予定である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

医療材料に付けたマーキングを画像認識により判定することが出来たため。

Strategy for Future Research Activity

現在、１つのマーキングであるため今後はマーキングの数を増加し、同様に解析が可能であるかを検討する。一連の操作手技の判定が可能であるか検証を行う予定である。また、画像解析については、学内の画像解析の専門家にアドバイスをもらいながら進めていく予定である。

Causes of Carryover

新型コロナウイルスの為、学会参加が出来なかったことに加え、2020年、2021年に出産したので学会参加を控えていたため。