2022 Fiscal Year Research-status Report

深層学習エッジコンピューティングによる高効率なIoT向け脳―機械デバイスの開発

Research Project

Project/Area Number	21K12789
Research Institution	Nihon University
Principal Investigator	小林伸彰日本大学, 理工学部, 准教授 (50611422)
Project Period (FY)	2021-04-01 – 2024-03-31
Keywords	ブレイン・マシン・インタフェース / 深層学習 / エッジコンピューティング / 運動想起 (Motor Imagery) / QOL
Outline of Annual Research Achievements	上下肢に機能障害を抱えるような要介護者にとって居住環境の快適性とQOLには密接な関係がある。家電製品や機械を脳活動のみの情報で制御するブレイン・マシン・インタフェース (BMI) を介護現場で活用することにより、要介護者の行動制約の緩和やストレスの軽減が期待でき、かつ、介護職従事者の仕事量を減らすことになる。本研究では、長時間使用可能・応答遅延を最小限に抑えられるBMIをIoT向けエッジデバイス (IoT-Dev) 上で実現する。要介護者への負担をより小さくするため、想起のみで脳活動の識別が可能となる運動イメージによる運動誘発電位 (MI: Motor Imagery) を用いることで、より実用的なデバイス開発を目指す。当該年度においては、利用者の負担を軽減するため、BCI Competition IV- 2a運動想起脳波データセットを用いて事前学習した結果を用いてファインチューニングを行い、その訓練データ数と分類精度の最適化を実施した。ターゲットの被験者以外の8名の被験者のデータで事前に学習した結果をターゲットの被験者の学習に活用してファインチューニングを行う事 (Subject Transfer) でファインチューニングを行わずターゲットの被験者のみの脳波データで学習した場合 (Self Training) と比べて分類精度は平均で5.26%向上し、全体の平均で約80.0%となった。また、分類精度の上昇が飽和する訓練データ数を平均で47.92%削減できる事が示された。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 初年度は先行研究で構築したpython (深層学習フレームワークはpytorch) によるDNNシミュレータをベースにBCI competition IV-2a on 4-class MIをDNNの学習データセットとして用い、その結果、MIの分類に必要な電極数を15チャンネルまで削減しても分類精度を維持できることがわかった。2年目においては、利用者の負担を軽減するため、事前に学習済みのモデルの重みを用いて再学習し、重みを微調整することで高い分類精度を実現できるファインチューニングを活用した。具体的には、BCI Competition IV- 2a運動想起脳波データセットを使用し、事前学習した結果を用いてファインチューニングを行い、その訓練データ数と分類精度の最適化を行った。ターゲットの被験者以外の8名の被験者のデータで事前に学習した結果をターゲットの被験者の学習に活用してファインチューニングを行う事 (Subject Transfer) でファインチューニングを行わずターゲットの被験者のみの脳波データで学習した場合 (Self Training) と比べて分類精度は平均で5.26%向上し、全体の平均で約80.0%となった。また、分類精度の上昇が飽和する訓練データ数を平均で47.92%削減できる事が示された。すなわち、新規の利用者が本システムを利用する際に過去に取得された脳波データを利用して事前に学習されたモデルを用いることで、新規に取得するデータ数が少ない状態においても分類精度の高いシステム構築が可能となる。
Strategy for Future Research Activity	今後は運動想起脳波 (MI: Motor Imagery) を用いたブレイン・マシン・インタフェース (BMI）をウェアラブルに実現可能なIoT (Internet of Things) 向けエッジデバイス (BMI型IoT-Dev) への実装を目的にモデルパラメータ数の削減およびデータ表現の量子化 (重みパラメータの32bit浮動小数点表現から8bit固定小数点表現への変換) を行った上でもモデルの分類精度を維持することができるかどうかの検証を行う。また，実際にMCU (Micro-Controller Unit) やGPU (Graphic Processing Unit)、FPGA (Field Programmable Gate Array) といったエッジデバイスへ実際にモデルを実装し、推論させた場合にどのような性能となるのか、推論速度、消費電力の観点より検証を行う。その上で、さらなる高効率化 (高速化と低消費電力化を同時に行い、電力効率を高めた上で速度の最適化を行うこと) を目指す。
Causes of Carryover	エッジデバイス端末として市販の評価ボードを購入する予定であったが，世界的な半導体不足の影響により，当初購入できるデバイスが年度内に納入できない見込みとなった．よって，この分の支出は最終年度に繰り越す予定である．