2022 Fiscal Year Final Research Report
An empirical study of communication support using facial image processing considering the progressiveness of patients with intractable neurological diseases
Project/Area Number |
19KT0029
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 特設分野 |
Research Field |
Orality and Society
|
Research Institution | Kyushu Institute of Technology |
Principal Investigator |
Saitoh Takeshi 九州工業大学, 大学院情報工学研究院, 教授 (10379654)
|
Co-Investigator(Kenkyū-buntansha) |
伊藤 和幸 国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
|
Project Period (FY) |
2019-07-17 – 2023-03-31
|
Keywords | コミュニケーション支援 / 神経難病患者 / 眼球運動 / 口形認識 |
Outline of Final Research Achievements |
Patients with intractable neurological diseases are severely impaired in physical function and communication ability as the disease progresses. To solve this problem, we developed communication support system using facial image processing technology. Eye movement and mouth shape were selected for analysis. For the former, we developed an eyeglass-type switch that detects the center of the pupil of a patient wearing a wearable camera in real-time and outputs a signal when there is a certain amount of movement. In addition, we worked on a verification experiment with the cooperation of patients with intractable neurological diseases and obtained a certain evaluation. We collected more than 700 utterance scenes from 31 patients with intractable neurological diseases for the latter. Recognition experiments were conducted using deep learning, and sufficient accuracy was obtained.
|
Free Research Field |
リハビリテーション科学・福祉工学
|
Academic Significance and Societal Importance of the Research Achievements |
本研究では神経難病患者を対象として、研究分担者、施設スタッフおよび患者協力の下、研究に取り組んだ。口形認識について、健常者の発話シーンは既存の公開データセットが存在するが患者の発話シーンはない。そのため発話シーン収集に取り組みデータセットを構築した。これは今後の研究発展に貢献できるであろう。眼球運動を利用した眼鏡型スイッチに関しては、単に開発するだけでなく患者協力による検証実験まで進めることができたことは大きな成果である。他の患者からの利用要望を受けており、今後の展開が期待できる。
|