2020 Fiscal Year Annual Research Report
リアル脳と人工知能の融合による重度運動機能障がい者向け意思伝達支援技術の開発
| Project/Area Number |
18H03142
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
長谷川 良平 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (00392647)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松本 有央 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (00392663)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | BMI/BCI / 脳波 / 事象関連電位 / 人工知能 / 意思伝達 |
|---|
| Outline of Annual Research Achievements |
本研究では研究代表者の技術シーズである重度運動機能障がい者向けの脳波による意思伝達装置「ニューロコミュニケーター」と、近年めざましい発展を遂げている人工知能分野における音声識別技術や顔画像識別技術を融合した、「リアル脳と人工知能のハイブリッド型BMI」の実現可能性について検討した。
３年間に計画したサブテーマは以下の通りである。①重度運動機能障がい者のコミュニケーション場面におけるニーズ調査、②画像/音声識別に基づいて対話者の意図を把握する人工知能モジュールの開発、③文脈に応じた言語メッセージの候補を提案する人工知能モジュールの開発、④言語/非言語メッセージを独立に選択する脳波BMIモジュールの開発、⑤非言語メッセージを表出可能なＣＧアバターアバターの動画DBの構築、⑥ハイブリッド型ＢＭＩ技術による臨床研究。
このうち最終年度では、特に⑤に取り組み、従来システム（どのような言語メッセージを発するときもCGアバターの表情が一定＝ほぼ無表情）を改変し、言語メッセージに付随する感情状態も非言語的に表出できるように、CGアバターの表情を８種類から選べるようにした。これによって、ある言語メッセージを強調できるようになっただけでなく、一見、セリフとは不一致の表情を用いてメタメッセージ（皮肉や照れ隠しなど）も表出できるようにした。
最終年度に計画していた、⑥（臨床評価）に関しては、コロナ禍において基礎疾患のある難病患者を対象とした臨床研究の実施は感染や重症化のリスクを高めるため、見送ることにした（今後、別プロジェクトで検証したいと考えている）。その代わりに、医療現場の関係者とのヒアリングを多数実施し、本研究成果を家庭内の介護現場のみならず病院等の医療現場にどのように導入するかに関して検討し、医療系ピッチコンテストでの優勝などにつながった。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
