2020 Fiscal Year Research-status Report
神経難病患者の進行性を考慮した顔面を用いたコミュニケーション支援の実証的研究
| Project/Area Number |
19KT0029
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 教授 (10379654)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 和幸 国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
|
|---|
| Project Period (FY) |
2019-07-17 – 2022-03-31
|
| Keywords | コミュニケーション支援 / 神経難病患者 |
|---|
| Outline of Annual Research Achievements |
１．コロナ禍のため計画通りの撮影が難しかったが、実施計画に基づき、前年度を含めて患者19名の協力を得て、「あ」「い」「う」「え」「お」「ん」の代表的な6口形の発話シーンを継続して撮影した。これは研究分担者が担当した。
２．本研究課題では、病状の進行を考慮して患者の顔画像より口形、表情、眼瞼、瞳孔の動きを利用したコミュニケーション支援機器の開発に取り組む。その中で、口形に関しては、前年の研究を発展させて、深層学習の一つである3D-CNNを用いた手法を提案した（本研究成果は2020年10月に発表済み）。
３．表情に関しては顔面運動を行うシーンを収集していないため患者から撮影したシーンに対しては適用できていないが、健常者の発話シーンに対して、表情特徴を用いることで発話内容の認識精度が向上することを確認した（本研究成果は2020年8月に発表済み）。さらに、認識精度向上のために、顔合成技術を利用した新規な読唇手法を提案した（本研究成果は2021年3月に特許出願済み）。本研究成果は2022年6月に発表予定である。
４．眼球運動を利用したコミュニケーション支援に関しては、前年度プロトタイプを開発した目の動きを利用した夜間呼び出しシステムについて評価実験を実施した（本研究成果は2020年7月に発表済み）。コロナ禍のため施設訪問が難しい状況であったが、研究分担者、施設スタッフおよび神経難病患者の協力の下、検証実験に取り組み始めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
データ収集については、研究分担者の協力により、患者の発話シーンを計画以上に進めている。
コミュニケーション支援機器開発のための認識エンジンとなる認識手法に関して、口形に関しては計画通り進めることができた。眼球運動を利用したコミュニケーション支援に関しては、研究協力者である福祉従事者の要望を受け、目の動きを利用した夜間呼び出しシステムを開発し、実証検証を取り組み始めている。これは当初の計画以上に進展している。
|
| Strategy for Future Research Activity |
発話シーン収集に関して、今年度はコロナ禍のため訪問が難しい状況があったが、コロナ禍においても撮影協力を行えるよう整備を進める。口形を利用したコミュニケーション支援機器の開発に関しては、プロトタイプの開発に取り組む。眼球を利用したコミュニケーション支援機器に関しては、既に検証実験を開始しているが、検証により浮かび上がった課題の解決に努める。眼瞼についての目処も立てたため、計画通りに進める。
|
| Causes of Carryover |
コロナ禍のため、出張が難しく、旅費の執行が計画通りに進めることができなかった。そのために、次年度使用額が生じた。実証検証を進めるにあたり、細かな物品費が必要となるため、この購入費に充てる。
|
