|
１．実施計画に基づき、神経難病患者の協力を得て「あ」「い」「う」「え」「お」「ん」の代表的な6口形の発話シーンを研究開発期間開始前から31名計763の発話シーンを収集し、研究用のデータセットを構築した。この規模の神経難病患者の発話シーンデータセットは、前例がなく、今後の研究の発展につながる。
２．口形を利用したコミュニケーション支援の基礎研究である口形認識に関しては、深層学習を利用したアプローチとしてこれまで3D-CNNを利用していたが、さらに高い認識精度を得られるVision Transformerを用いた手法を提案した。様々な認識実験を実施し、全31名に対して平均認識率77%の口形認識率を得た。さらに、患者毎による認識精度について考察し、病状の進行に伴い口形が変化することを確認した。また神経難病患者ではなく健常者に対して、通常のカラー画像でなく、イベントベースカメラを用いて単音認識に取り組み、その有効性を確認した。
３．眼球運動を利用したコミュニケーション支援に関して、ウェアラブルカメラを利用した眼鏡型スイッチを開発した。研究分担者、施設スタッフおよび神経難病患者6名の協力の下、2021年度に眼鏡型スイッチの検証実験に取り組んだ。それより操作性の課題を確認した。これを解決するために、システムの機能改善に取り組んだ。コロナ禍のため改善したシステムの検証実験には至らなかった。またウェアラブルカメラではなく非接触型のカメラを利用したアプローチに取り組み、ウェアラブルカメラとほぼ同等の瞳孔中心検出精度が得られることを確認した。
|
