Application to machine learning using discomfort detected by EEG as a feedback index

Research Project

Project/Area Number	23K11209
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61020:Human interface and interaction-related
Research Institution	Oita National College of Technology
Principal Investigator	鶴浩二大分工業高等専門学校, 情報工学科, 教授 (70390549)
Project Period (FY)	2023-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Keywords	脳波 / エラー関連陰性電位 / 機械学習 / 事象関連電位 / エラー関連電位
Outline of Research at the Start	脳波の事象関連電位のである一種で、指示刺激に対して、期待とは異なる事象(失敗、間違い、違和感など）が発生したときに惹起するエラー関連電位をフィードバック指標として用いて、人とかかわる自動運転や機械制御時のＡＩアルゴリズムの学習などで人の感じる違和感を学習するシステムの構築を目指す。このエラー関連電位を効果的に測定できる電極位置をもとめ，測定方法の最適化を行う．そして、エラー関連電位を指標として、制御アルゴリズムや操作インターフェースを改良することによって、人が違和感を感じないシステムの開発手法を確立し、誤操作や誤入力を抑制し、安全性の向上を図る。
Outline of Annual Research Achievements	人の違和感を定量的に評価すことができれば，自動運転や自動化アルゴリズムで利用者が感じる不安や誤操作を防ぐことができる．そこで，脳波の事象関連電位の一つであるエラー関連陰性電位（ERN）を用いて違和感を検出し，機械学習のパラメータとすることで，利用者の不安や誤操作を未然に防ぐマンマシンインターフェイスを製作する事が本研究の目的である． ERNは、与えられた刺激に対して、期待とは異なる反応をしたときに、頭頂部付近に発生する陰性の電位（脳波）のことである．このERNは、頭頂部から側頭部にかけての領域を複数の電極で測定する必要がある．このため、広範囲に多数の電極を用いるため、測定は容易ではなかった。そこで、ERNの出現位置について、研究を進め、測定時の最適な電極配置を求める実験を行った． ERNを誘発させる課題として現在最も多く採用されている反応競合課題であるフランカー課題を用いた．本研究ではフランカー課題をPsychoPyで制作した．PsychoPyとは主に神経科学および実験心理学の研究で使用するためにPythonで記述されたオープンソフトウェアである．このソフトウェアを用いてPythonでプログラムを記述し，フランカー課題を制作した．このフランカー課題では，文字列を20回，被験者が解答するごとに画面が切り替わり，画面上に間違いやすい文字の課題が表示される．測定した脳波データと照らし合わせるため文字列が表示される時間を記録している．この実験の結果，頭頂部を中心に，複数の電極を用いて，フランカー課題によるERNの測定を行った．その結果，国際10-20法の鼻から後頭部のラインにかけて設置されるFz，Cz，Pzの電極位置で，ERN測定が有効であることがわかった．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason エラー関連陰性電位（ERN）は，頭頂部から側頭部にかけての領域を複数の電極で測定する必要があった．そこで，昨年度（2023）は，頭頂部を中心に，複数の電極を用いて，フランカー課題によるERNの測定を行って，測定に有効な電極の探索を行った．その結果，国際10-20法の鼻から後頭部のラインにかけて設置したFz，Cz，Pzの場所で，ERN測定が有効であることがわかった．また，頭頂部では，頭髪が多く従来使っていた平皿電極では，頭皮への電極の設置に時間がかかることより，導電性ジェルを使わないドライ電極としても使えるマルチピン電極と，被験者が持ち運べる軽量の脳波記録装置を準備して，事象関連電位測定の予備実験を行った．さらに，従来から行っている脳波個人認証で研究を行った脳波の人による判別での知見を基に，ERN脳波の発生源を推定できるように，個々人の頭部形状の3次元スキャンデータを得られる装置を用意し，頭部の形状とERNの最適な電極位置の傾向を調べる研究を行う準備を行った．
Strategy for Future Research Activity	昨年度（2023）に引き続き，複数の電極を用いた測定データから，最適なエラー関連陰性電位（ERN）測定位置を求める研究を進める．さらに，頭部形状を 3Dスキャンし，電位分布逆問題を解くことにより，発生源と効果的電極位置を推定し，測定に適した少数電極位置を明らかにする．また，ERN の測定の簡易化と高い再現性を得るため，脳波の測定治具を3Dプリンタで作製することを予定している．頭頂部や左右耳介周辺で脳波が測定できようにするため，簡易に装脱着できる脳波測定治具を作製する．頭髪が多い頭頂部などでは，髪を避けて頭皮に直接接触させることができるマルチピン電極を用い，耳介周辺部は，頭髪がないので従来の平皿電極を用いる．この測定脳波治具を用いることにより，短時間で多くの被験者のERNを測定でき，測定の安定性と脳波データの信頼性も増すことができる．この脳波測定治具を使うことによって，ERNの測定を迅速化できれば，次年度（2025）に実験を行う ERN をフィードバック指標としてた，制御アルゴリズムやコンピュータインターフェイスの違和感を改善できるシステムの試作と評価にも有効であると考えている．