| Project/Area Number |
19KT0029
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 特設分野 |
|---|
| Research Field |
Orality and Society
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
Saitoh Takeshi 九州工業大学, 大学院情報工学研究院, 教授 (10379654)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 和幸 国立障害者リハビリテーションセンター(研究所), 研究所 福祉機器開発部, 研究室長 (80370873)
|
|---|
| Project Period (FY) |
2019-07-17 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | コミュニケーション支援 / 神経難病患者 / 眼球運動 / 口形認識 |
|---|
| Outline of Research at the Start |
神経難病患者は病状の進行により、身体機能やコミュニケーション能力が著しく障害され、進行期から終末期にかけては、自分で動いたり、声を出したりすることが困難になる。このため、話し言葉や書き言葉によるコミュニケーション能力が損なわれてしまう。本研究課題では、患者に新しいオラリティの形を提供して家族などと共存を保ち続ける社会を提供することを目指し、非接触で実現可能な映像解析技術を用いて、病状の進行を考慮して患者の顔画像より各部位の動きを解析し、意思や感情を推定するコミュニケーション支援機器の開発に取り組む。開発したコミュニケーション支援機器を用いて実証的評価する。
|
| Outline of Final Research Achievements |
Patients with intractable neurological diseases are severely impaired in physical function and communication ability as the disease progresses. To solve this problem, we developed communication support system using facial image processing technology.
Eye movement and mouth shape were selected for analysis. For the former, we developed an eyeglass-type switch that detects the center of the pupil of a patient wearing a wearable camera in real-time and outputs a signal when there is a certain amount of movement. In addition, we worked on a verification experiment with the cooperation of patients with intractable neurological diseases and obtained a certain evaluation. We collected more than 700 utterance scenes from 31 patients with intractable neurological diseases for the latter. Recognition experiments were conducted using deep learning, and sufficient accuracy was obtained.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では神経難病患者を対象として、研究分担者、施設スタッフおよび患者協力の下、研究に取り組んだ。口形認識について、健常者の発話シーンは既存の公開データセットが存在するが患者の発話シーンはない。そのため発話シーン収集に取り組みデータセットを構築した。これは今後の研究発展に貢献できるであろう。眼球運動を利用した眼鏡型スイッチに関しては、単に開発するだけでなく患者協力による検証実験まで進めることができたことは大きな成果である。他の患者からの利用要望を受けており、今後の展開が期待できる。
|
