2019 Fiscal Year Research-status Report
Development of BMIs using facial images and sounds for the smooth communication with persons with disabilities
| Project/Area Number |
18K17667
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
大西 章也 千葉大学, フロンティア医工学センター, 特任助教 (20747969)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ブレイン-マシン・インタフェース(BMI) / P300 / ユーザインタフェース / 顔 / 音声 / ディープラーニング / 畳み込みニューラルネットワーク(CNN) |
|---|
| Outline of Annual Research Achievements |
本年度はブレイン-マシン・インタフェース(BMI)の視聴覚刺激の影響を明らかにするため，昨年に引き続き口の形を変えた顔の映像と，それらと対応する音声を刺激としたBMIのデータを計測し，合計１１名の脳波データを得た．さらにそのデータをもとに識別精度を求めた．その結果，視聴覚刺激を用いた場合に70.9%，視覚刺激を用いた場合に67.3%，聴覚刺激を用いた場合に51.8%となった．本研究成果は視聴覚刺激がBMIの識別精度向上のために有用であることを示唆する．現在，以上の研究成果をまとめ，論文投稿の準備を進めている．
また，訓練データ計測なしでBMIを操作できるようにするため，ディープラーニングを用いた学習方法を検討した．提案手法は時間に関して畳み込み演算を行う３層以上の畳み込みニューラルネット(CNN)を用いる．そのCNNをあらかじめ計測した多くの被験者の脳波データから学習する．そして学習済みCNNを，これまでCNNのための訓練データを提供していない被験者に対して適用するような解析を行った．その結果，提案手法はサポートベクトルマシンや線形判別分析などのBMIでよく使われる機械学習方法と比べて高い識別精度が得られた．本研究成果はCNNが他人の被験者の脳波データを流用して学習することによる，新たな訓練データを計測する必要のないBMIの学習方法に効果的であることを示唆する．本研究成果は英文学術論文誌に投稿中であり，現在条件付き採択となっている．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
本年度は昨年度実施した実験結果を増やし，論文執筆に足る結果を得た．しかしながら本年度実施予定の情動に関する視聴覚刺激の効果についてはコロナウイルス感染拡大のため実験を自粛したため遅れが生じた．一方で，ディープラーニングを用いたデータ解析など，三密（密集、密室、密接）を避けて進めることのできる研究を代わりに実施した．
|
| Strategy for Future Research Activity |
来年度は情動に関する視聴覚刺激の効果を明らかにするための実験や患者実験を行う予定であったが，コロナウイルス感染拡大のため目途が立たない状況である．そのため，コロナウイルスの終息までは現在得られたデータの解析を進め，より効果的なBMIの学習方法を検討するなど三密を避けた研究を実施する．また，本年度中にコロナウイルスが終息した場合は情動に関する視聴覚刺激の効果を明らかにするための実験や患者実験を進める．
|
| Causes of Carryover |
得られた研究成果の論文執筆を進めており，1本は条件付き採択であり，もう1本は論文執筆中である．それらは次年度に採択される見通しとなっている．それら論文投稿料は本年度予算に含まれる．そのため本年度使用予定であった論文投稿料を次年度に使用する予定に変更となり，次年度使用額が生じた．次年度使用額は論文投稿料として使用する予定である．
|
