対話型ハンズフリーマニュアルの開発（人工知能と拡張現実の応用による）

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K13886
• Research Institution: Teikyo University
• Principal Investigator: 伊藤 奈々 帝京大学, 公私立大学の部局等, 助教 (10711476)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 完全音声制御式HFマニュアル / 画像認識

Outline of Annual Research Achievements

本研究の目的は、AR技術を応用し、SGに図表を含むマニュアルを組み込み、音声制御で必要な説明を検索・表示し、作業結果の良否を判定するHFマニュアルを試作し、その有効性を確かめ、実用化に必要な基盤技術の確立である。
当該年度に実施した研究の成果は、「完全音声制御式HFマニュアルの試作と評価の実施」と「画像認識で作業結果を判定する基礎技術の検討」である。研究のミーティングは毎週１回金曜日に東京工科大学客員教授である武田教授とオンラインで実施し、必要に応じて東京工科大学教授である田仲教授とオンラインミーティングを実施している。
「完全音声制御式HFマニュアルの試作を評価の実施」において、完全音声制御式HFマニュアルを完成させ、評価を実施し、完全音声制御式HFマニュアルが従来のマニュアルである紙マニュアルよりも学習の進捗が速く、学習効果が高かったことが示された。これを研究実績として日本医療機器学へ投稿した。
「画像認識で作業結果を判定する基礎技術の検討」においては、画像認識ソフトであるMATLABの販売元であるマスワークス合同会社のエンジニアと営業の方とミーティングを実施した。本研究におけるマーカーでの作業結果の判定が可能なことがミーテイングによって明らかとなり、今後は、画像認識によって認識させるマーカの形、大きさ、色、カメラの性能、カメラの位置などの検討を実施する必要がある事が分かった。まず最初の段階として、マーカーを直線の黒色とし、SGカメラでの撮影ではなくデジタルカメラにて撮影した画像の認識を検討した。その結果、MATLABによってこのマーカーの認識が可能である事を確認出来た。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

「画像認識で作業結果を判定する基礎技術の検討」において、画像認識によって認識させるマーカーの形、大きさ、色、カメラの性能、カメラの位置などの検討し、最適なマーカーを明らかにするところまで計画していたが、コロナウイルスの影響で、在宅勤務があったため、当初の計画よりもやや遅れている。

Strategy for Future Research Activity

今後の研究の推進方策として、事前に研究室でデータ収集が可能なときにデータを収集し、データの処理は研究室外でも実施できるように事前準備を実施する。また、今後も当該年度と同じように定期的なオンラインミーティングは欠かさないようにし、研究計画から大幅に遅れないように対策を実施する予定である。

Causes of Carryover

当該年度は、新型コロナウイルス感染症の影響により、学会出張していないこと。研究が当初よりやや遅れているため、必要物品の購入に至らなかったことが理由である。新型コロナウイルス感染症の状況によるが、落ち着けば研究成果を報告予定である。また、必要物品の購入を行い、研究を進めて行く予定である。