2018 Fiscal Year Annual Research Report
リアル脳と人工知能の融合による重度運動機能障がい者向け意思伝達支援技術の開発
| Project/Area Number |
18H03142
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
長谷川 良平 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (00392647)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松本 有央 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00392663)
稗田 一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10357832)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 意思伝達支援 / 重度運動機能障がい者 / 脳波 / BMI / 事象関連電位 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
本研究では、研究者の技術シーズ（重度運動機能障がい者向けの脳波による意思伝達装置）と近年めざましい発展を遂げている人工知能分野における音声識別技術や顔画像識別技術を融合した、新しいBrain-Machine Interface（BMI）技術、「リアル脳と人工知能のハイブリッド型BMI」の開発を目指している。この実現に向けて、本年度はサブテーマ①として、対人コミュニケーション場面における文脈を特定することで、メッセージ候補を絞り込み、たった一度の選択によって最終メッセージを選ぶことができるシステムの開発のために、介護現場で行われるコミュニケーションの実態を把握するための調査を行った。具体的には、連携関係にある介護事業者を介して、想定ユーザーが日常的なコミュニケーション場面において必要と推定されるメッセージデータベース（DB）の改変（オリジナルの512種類を修正）を行いつつ、それらのメッセージが表出される文脈を構成する環境要因（いつ、どこで、だれと等）及び具体的な文脈情報（「いつ」にか関しては朝、昼、晩、など）を記載した文脈DBを作成した。そしてこれら２つのDBの関連性を見るために、当該事業者を介して、介護現場で働く、プロの介護者あるいは医療専門職（理学療法士等）24名にヒアリングを実施し、想定ユーザーが日常生活で意思を伝達したいと思われた時のメッセージ内容と文脈情報の対応付けを行った。これにより、何らかの方法で文脈情報からメッセージ候補を絞る込むことが可能となった。また、サブテーマ①とは独立の基盤技術候補であるサブテーマ②として、介護者が質問することが多い文章に含まれるフレーズ８種類（「体調」など）を選抜し、音声認識チップに登録し、マイクを介して介護者の問いかけのなかで登録フレーズが検出された際、自動的にその返答として相応しい候補を各８種類提案するシステムを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
リアル脳と人工知能を融合した新しい意思伝達装置の開発に向け、本年度はサブテーマ①として、対人コミュニケーション場面における文脈を特定することで、メッセージ候補を絞り込み、たった一度の選択によって最終メッセージを選ぶことができるシステムの開発のために、介護現場で行われるコミュニケーションの実態を把握するための調査を行った。具体的には、連携関係にある介護事業者を介して、想定ユーザーが日常的なコミュニケーション場面において必要と推定されるメッセージデータベース（DB）の改変（オリジナルの512種類を修正）を行いつつ、それらのメッセージが表出される文脈を構成する環境要因（いつ、どこで、だれと等）及び具体的な文脈情報（「いつ」にか関しては朝、昼、晩、など）を記載した文脈DBを作成した。そしてこれら２つのDBの関連性を見るために、当該事業者を介して、介護現場で働く、プロの介護者あるいは医療専門職（理学療法士等）24名にヒアリングを実施し、想定ユーザーが日常生活で意思を伝達したいと思われた時のメッセージ内容と文脈情報の対応付けを行った。これにより、何らかの方法で文脈情報からメッセージ候補を絞る込むことが可能となった。また、サブテーマ①とは独立の基盤技術候補であるサブテーマ②として、介護者が質問することが多い文章に含まれるフレーズ８種類（「体調」など）を選抜し、音声認識チップに登録し、マイクを介して介護者の問いかけのなかで登録フレーズが検出された際、自動的にその返答として相応しい候補を各８種類提案するシステムを開発した。なお、この調査事業の過程で、意思伝達用の入力スイッチとして最重度障がい者向けの脳波だけでなく、瞬きを反映した眼電位用のスイッチが多用されることや障がい者の要望の中に電動車いすによる移動などもあったために、それらの全体のシステムの入出力の幅を広げる高度化試作も実施した。
|
| Strategy for Future Research Activity |
本研究では、研究者の技術シーズ（重度運動機能障がい者向けの脳波による意思伝達装置）と近年めざましい発展を遂げている人工知能分野における音声識別技術や顔画像識別技術を融合した、新しいBrain-Machine Interface（BMI）技術、「リアル脳と人工知能のハイブリッド型BMI」の開発を目指している。本研究の代表者は、これまで重度運動機能障がい者の「生活の質」向上のために、脳波による意思伝達装置「ニューロコミュニケーター」の開発を行ってきた。この装置は、パソコン画面上に並べられた８つの絵カードのうちから１つ（標的）を脳波で選択する作業を３回行うことで、512種の多様なメッセージを表出できるシステムである。しかし、このような入力手法では標的の解読が３回連続して成功する必要があり、標的解読精度が高くないユーザーや電気的ノイズの大きな環境では誤入力のリスク増大が危惧されていた。本研究の成果により、そのような繰り返しを行うことなく、たった１度の選択によって文脈に即したメッセージを選ぶためのDBが構築されたことは、大きな進歩であると考えられる。また、その文脈の特定を介護者のセリフに含まれるフレーズの音声識別によってできたことも、ハイブリッドBMIシステムの実現に向けた成果であると考えられる。
|
