| 研究課題/領域番号 |
18H03142
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
長谷川 良平 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (00392647)
|
|---|
| 研究分担者 |
松本 有央 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00392663)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 意思伝達支援 / 重度運動機能障がい者 / 脳波 / ＢＭＩ / 事象関連電位 / 人工知能 |
|---|
| 研究実績の概要 |
本研究では、研究代表者の技術シーズである重度運動機能障がい者向けの脳波による意思伝達装置「ニューロコミュニケーター」と近年めざましい発展を遂げている人工知能分野における音声識別技術や顔画像識別技術を融合した、新しいBrain-Machine Interface（BMI）技術、「リアル脳と人工知能のハイブリッド型BMI」の開発を目指している。この目標の実現に向けて、本年度はサブテーマ③「文脈に応じた言語メッセージの候補を提案する人工知能モジュールの開発」と、サブテーマ④「言語/非言語メッセージを独立に選択する脳波BMIモジュールの開発」に取り組んだ。
サブテーマ③に関しては、対話相手（家族等介護者）からの質問などに返答する必要がある場合、ユーザー（障がい者）が脳波による選択を階層的に何度も繰り返さなくても済むように、対話者の発するセリフに含まれるキーワードから文脈を特定し、ユーザー（障がい者）の返信用のメッセージの候補を自動的に絞り込むという技術の開発を行った。また、この開発の参考にするため、昨年度に開始した介護現場でのヒアリング調査を今年度も実施し、現場で使用頻度の高いメッセージの種類やそのメッセージの必要となる文脈に関する情報収集を行った。
サブテーマ④に関しては、皮肉や照れ隠しなどのように表情とセリフが不一致のようなメタメッセージも表出できるように、オリジナルの言語メッセージ選択用ＧＵＩに加えて、非言語（感情）メッセージ選択用ＧＵＩ（表情画像を手掛かりに８種類の感情が選べる形式）の開発を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
リアル脳と人工知能を融合した新しい意思伝達装置の開発に向け、上述した２つのサブテーマに関して、具体的な進捗状況は以下の通りである。
サブテーマ③では、昨年度の医療専門職（24名）に加え、今年度は対象ユーザーである障がい者の家族（20名）を対象としたヒアリング（外注）において、使用頻度が高いメッセージ（一部潜在的）の種類と、それらのメッセージが生成される文脈に関して調査を進めた。その結果、（予想通り）対話者が医療専門職か家族によって形成される文脈や必要となるメッセージのデータベースがある程度、異なっていることが明らかになった。ただし、両群で共通している文脈/メッセージの項目も多く、まずはそのような項目を中心にして、文脈視点からオリジナルの３階層メッセージデータベース（64文脈各８メッセージ、計512種類）の改変を行った。また、そのうち８文脈各８メッセージ（計64種類）に関しは、文脈を特定する手掛かりになるキーワードを数個ずつリストし、音声識別モジュール（ＵＳＢ接続のハードウェアタイプ：検出できるフレーズは100語以内）によってメッセージ候補を絞り込めるようにシステムに実装した。今後、柔軟性のあるキーワード設定のために、ソフトウェアタイプの音声識別モジュールを導入する予定である。
サブテーマ④の「表情画像によって感情を（独立に）選べるＧＵＩ」に関しては、選択画面が静止画（写真もしくはイラスト）であるために写真は先行研究からの引用で、イラストはデジタル的手作業を行った。その際、感情心理学的研究を参考にし、２次元（快/不快、及び覚醒レベル）の円環構造上に配置される代表的な８種類の感情状態とそれぞれ対応した８種類の表情画像を作成した。なお、ユーザーの理解を促進するために、脳波による選択用ＧＵＩで８種類の表情画像を提示する際、各画像の下に言語的に表現するラベルづけも行った。
|
| 今後の研究の推進方策 |
次年度予定しているサブテーマ⑤「非言語メッセージを表出可能なＣＧアバターアバターの動画DBの構築」の実現に向け、（選択可能な）各アバターに対して、メッセージと合わせて多様な感情を「クチパク」のアニメーションによって表出させるためには、最新のデジタル技術（ＶチューバーやＵＮＩＴＹ）などの技術の新規導入が今後必要となると考えている。また、感情に合わせてメッセージ内容の声色も変えて人工音声で表出したいと考えているが、現在のところ十分な性能を持つ市販の製品が見つかっていないので、引き続き新製品/新技術の探索を行う予定である。
もう一つのサブテーマ⑥「ハイブリッド型ＢＭＩ技術による臨床研究」では、これまでの試作開発の成果を、想定ユーザー（重度運動機能障がい者）を対象として検証する予定であったが、新型コロナウイルスで基礎疾患を持つ患者に対する評価試験が極めて困難な状態になった。そのため、システムの評価試験を行うとしても、当面は健常者（可能であれば介護現場にも詳しい方）を対象として実施することを考えている。
|
