研究課題
実施計画で掲げた四つのサブテーマについて報告する。(A)患者の顔映像データの収集については、これまで十分に収集済みであったことから、積極的な収集は行わっていないが、健常者のデータ収集を進めた。患者のデータ収集には、研究分担者の協力を得た。(B)様々な顔の動作部位を正しくとらえる顔映像解析技術に関しては、眼球、瞬きおよび口を中心に、精度向上に取り組んだ。特に、口を対象とする読唇技術に関しては、単語単位のみでなく、文章単位の読唇に取り組み精度を向上させた。眼球と瞬きについては、患者の要望を反映して改善した。その他の顔部位として、微表情検出および認識技術に取り組み、Motion History Imageを利用する手法を提案した。口形認識については、研究成果を学術雑誌にまとめている。(C)(B)をモジュール化した操作スイッチの開発について、モジュール化には至っていないが、実証実験を行うためのアプリ開発に取り組んだ。ノートPCを利用するアプローチおよびスマートフォンやタブレットを利用するアプリの開発に取り組んだ。特にPCの利用に関しては、GPU搭載の高性能PCではなく、GPU非搭載のノートPCでも利用可能にするために、深層学習モデルの軽量化を図った。(D)実証実験については、既に開発済みの眼鏡型スイッチを研究分担者の協力をもとに国内の患者に利用していただいた。そのフィードバックを得て、眼鏡型スイッチの改善に取り組んだ。
2: おおむね順調に進展している
(A)データ収集については、研究分担者の協力により、患者の発話シーンを進めている。(B)様々な顔の動作部位を正しく捉える顔映像解析技術については、眼球、瞬き、口形および微表情の検出および認識に取り組んでいる。(C)(B)のモジュール化についてはまだ進めていないが、操作スイッチの開発は実装済みである。(D)操作スイッチの実証実験については研究分担者の協力により進めている。
(A)データ収集については、これまで通り継続して取り組む。(B)顔の動作部位については、微表情検出を公開データセットだけでなく実ユーザに対しても検討する。(C)モジュール化については、使用環境を決定してプロトタイプの開発に取り組む。(D)実証実験および評価を進めるために、環境を整備する。
すべて 2024 2023
すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 2件) 学会発表 (13件) (うち国際学会 4件)
Algorithms
巻: 16 ページ: 269～269
10.3390/a16060269
Frontiers in Artificial Intelligence
巻: 5 ページ: 1-10
10.3389/frai.2022.1070964
