2019 Fiscal Year Research-status Report
神経難病患者の進行性を考慮した顔面を用いたコミュニケーション支援の実証的研究
| Project/Area Number |
19KT0029
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 和幸 国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
|
|---|
| Project Period (FY) |
2019-07-17 – 2022-03-31
|
| Keywords | コミュニケーション支援 / 神経難病患者 |
|---|
| Outline of Annual Research Achievements |
１．実施計画に基づき、神経難病患者8名の協力を得て、「あ」「い」「う」「え」「お」「ん」の代表的な6口形の発話シーンを２，３ヶ月間隔撮影した。これは研究分担者が担当した。一方、実施計画で掲げた顔面運動評価法に沿った顔面運動を行うシーンの撮影に関しては、撮影における患者の負担を考慮して撮影を取りやめた。
２．本研究課題では、病状の進行を考慮して患者の顔画像より口形、表情、眼瞼、瞳孔の動きを利用したコミュニケーション支援機器の開発に取り組む。その中で、口形に関しては、実施計画に基づき認識手法の開発に取り組んだ。その結果、発話時の口唇およびその周辺より得られるオプティカルフローを特徴量として定義し、SVMを用いて口形を認識する手法（本研究成果は2019年10月に学会発表済み）よりも、3D-CNNを用いた方が高い認識精度を得ることを確認した（本研究成果は2020年度に発表予定）。
３．表情に関しては顔面運動を行うシーンを収集していないため患者から撮影したシーンに対しては適用できていないが、健常者の発話シーンに対して、表情特徴を用いることで発話内容の認識精度が向上することを確認した（本研究成果は2019年11月に特許出願済み）。
４．眼球運動を利用したコミュニケーション支援に関しては、実施計画では2年目より取り組む予定であったが、施設の要望を受け、前倒しで取り組み、目の動きを利用した夜間呼び出しシステムのプロトタイプを開発した（本研究成果は2020年度に発表予定）。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
データ収集については、研究分担者の協力により、患者の発話シーンを計画通りに進めている。顔面運動を行うシーンの収集については、患者の負担が大きいことから撮影を取りやめたため、計画通りではないが、一方、表情を利用した読唇手法を提案し、その有効性を確認できたことは当初の計画よりも進展したと判断できる。
コミュニケーション支援機器開発のための、認識エンジンとなる認識手法に関して、口形に関しては計画通り進めることができた。眼球運動を利用したコミュニケーション支援に関しては、研究協力者である福祉従事者の要望を受け、目の動きを利用した夜間呼び出しシステムの開発を実施計画よりも前倒しで取り組み、さらにプロトタイプを開発した。これは当初の計画以上に進展している。
|
| Strategy for Future Research Activity |
データ収集については、研究計画通りに継続して進める。一方、顔面運動を行うシーンについては、患者の協力が難しいことが判明したため、健常者に協力して収集する。顔面運動には健常者と患者に違いが生じることが予想されるが、基礎データとして健常者のデータを収集することで、患者への展開を進めやすくする。
口形を利用したコミュニケーション支援機器の開発に関しては、計画通りプロトタイプの開発に取り組む。眼球を利用したコミュニケーション支援機器に関しては、既にプロトタイプを開発済みであるため、施設に持ち込み検証を進める。眼瞼については、計画通り、今年度より取り組み、さらにプロトタイプを開発した。これは当初の計画以上に進展している。
|
