2021 Fiscal Year Research-status Report
神経難病患者の進行性を考慮した顔面を用いたコミュニケーション支援の実証的研究
| Project/Area Number |
19KT0029
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 教授 (10379654)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 和幸 国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
|
|---|
| Project Period (FY) |
2019-07-17 – 2023-03-31
|
| Keywords | コミュニケーション支援 / 神経難病患者 |
|---|
| Outline of Annual Research Achievements |
１．前年度に続きコロナ禍であったが、実施計画に基づき、神経難病患者の協力を得て、「あ」「い」「う」「え」「お」「ん」の代表的な6口形の発話シーンを継続して撮影した。これは研究分担者が担当した。研究開発期間開始前からの収集分を含めて、33名の発話シーンを収集した。
２．口形を利用したコミュニケーション支援に関しては、前年の研究を発展させて、深層学習の一つである3D-CNNを用いた手法の研究成果を発表した。さらに高い精度を得られるVision Transformerを用いた手法を提案した（2022年度発表予定）。認識精度向上のためには大規模な発話シーンが必要である。そのため、神経難病患者ではなく健常者の発話シーンを収集し、ITAマルチモーダルデータベースとして公開した。さらに通常のカラー画像ではなく、イベントベースカメラを用いた口形認識についても取り組んだ（2022年6月発表予定）。イベントベースカメラは、通常のカラー画像のカメラと異なり、画素毎の輝度値の時間的変化を検知する。高時間分解能やハイダイナミックレンジなどの特長をもつ。
３．眼球運動を利用したコミュニケーション支援に関して、研究分担者、施設スタッフおよび神経難病患者6名の協力の下、検証実験に取り組んだ（本研究成果は2021年10月、11月に発表済み）。コロナ禍のため施設訪問が難しい状況であったが、開発システムについての評価を得られた。開発システムはGPU搭載PCを想定しているため、実利用にはコスト面の問題がある。そこで、安価なPCでも動作可能にするため、知識の蒸留を利用して深層学習モデルを学習することに取り組み、その可能性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
データ収集については、研究分担者の協力により、患者の発話シーンを進めている。
コミュニケーション支援機器開発のための認識エンジンとなる認識手法に関して、口形に関しては計画通り進めることができた。眼球運動を利用したコミュニケーション支援に関しては、研究協力者である福祉従事者の要望を受け、目の動きを利用した夜間呼び出しシステムを開発し、実証検証を取り組んでおり一定の成果を得ている。
ただし、コロナ禍で施設訪問が難しい状況もあり計画通りに進めることができない問題が生じた。
|
| Strategy for Future Research Activity |
発話シーン収集に関して、コロナ禍のため訪問が難しい状況があった。コロナ禍においても撮影協力を行えるように改善する。口形を利用したコミュニケーション支援機器の開発に関しては、プロトタイプの開発に取り組む。眼球を利用したコミュニケーション支援機器に関しては、既に検証実験を開始しているが、検証により浮かび上がった課題の解決に努める。眼瞼を利用したコミュニケーション支援を実装するため、目輪郭の特徴点検出に取り組み、目の開閉状態の判断を実装した。今後は、この処理を利用して長めの閉眼判断の実装に取り組む。
|
| Causes of Carryover |
コロナ禍のため施設訪問が計画通りに進まず、訪問のための旅費が予定通りに執行できなかった。2022年度、補助事業期間延長を申請し、承認されているため、生じた次年度使用額を主に旅費および謝金に充てて、施設訪問および神経難病患者からの協力を得て研究を進める。
|
