2021 Fiscal Year Research-status Report
深層学習エッジコンピューティングによる高効率なIoT向け脳―機械デバイスの開発
| Project/Area Number |
21K12789
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
小林 伸彰 日本大学, 理工学部, 准教授 (50611422)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ブレイン・マシン・インタフェース / 深層学習 / エッジコンピューティング / Motor Imagery / QOL |
|---|
| Outline of Annual Research Achievements |
上下肢に機能障害を抱えるような要介護者にとって居住環境の快適性とQOLには密接な関係がある。家電製品や機械を脳活動のみの情報で制御するブレイン・マシン・インタフェース (BMI) を介護現場で活用することにより、要介護者の行動制約の緩和やストレスの軽減が期待でき、かつ、介護職従事者の仕事量を減らすことになる。本研究では、長時間使用可能・応答遅延を最小限に抑えられるBMIをIoT向けエッジデバイス (IoT-Dev) 上で実現する。非侵襲式EEG計測で得られた脳波信号を深層学習により高精度に識別し、制御信号を無線で対象機器に送出する。一連の処理をデバイス上で完結させるエッジコンピューティング (EdgeCom) により高効率なBMI型IoT-Devを開発する。
要介護者への負担をより小さくするため、想起のみで脳活動の識別が可能となる運動イメージによる運動誘発電位 (MI: Motor Imagery) を用いることで、より実用的なデバイス開発を目指す。MIは識別が難しいため、広範囲に脳活動情報を取得する必要があり、そのためには複数の電極を必要とする。よって、MIを少ない電極数で高精度に識別する最適な深層学習モデル(DNN)の策定がなければ実現困難である。
先行研究で構築したpython (深層学習フレームワークはpytorch) によるDNNシミュレータをベースに必要な電極数の位置、選定を行い、最適化を行った。種々のネットワーク構造とMIの識別率への寄与度を個別に検証した。ネットワークへの入力に必要なMIのデータセットに関しては、国際的なベンチマークに用いられているBCI competition IV-2a on 4-class MIをDNNの学習データセットとして用い、その結果、MIの分類に必要な電極数を15チャンネルまで削減しても分類精度を維持できることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
先行的な実験検討により、運動イメージによる運動誘発電位 (MI: Motor Imagery) を高精度に識別する深層学習モデルをブレイン・マシン・インタフェース型IoT向けエッジデバイス (BMI型IoT-Dev) に実装するに当たり、その規模、これに係る必要な性能を大まかに把握することができている。本課題研究では、この先行検討に基づき、低電力性、低遅延性を向上させるために、必要な電極の位置、電極数の選定を行い、従来と比較し、1/10から1/100程度の規模で同程度のMIの識別精度を達成するDNNを策定する。特筆すべきは、学習データには、要介護者が実際に過ごす、居住環境におけるEEGデータを追加し、環境ノイズにも対応する。そして、これを独自の高効率MCUに実装し、低電力・超低遅延のBMI型IoTエッジデバイスを開発する。
初年度は先行研究で構築したpython (深層学習フレームワークはpytorch) によるDNNシミュレータをベースに必要な電極数の位置、選定を行い、最適化を行った。種々のネットワーク構造とMIの識別率への寄与度を個別に検証した。ネットワークへの入力に必要なMIのデータセットに関しては、国際的なベンチマークに用いられているBCI competition IV-2a on 4-class MIをDNNの学習データセットとして用い、その結果、MIの分類に必要な電極数を15チャンネルまで削減しても分類精度を維持できることがわかった。よって本研究は概ね順調に進展している。
|
| Strategy for Future Research Activity |
これまでに要介護者のユーザ負担を軽減し、より簡便なBMI型IoT-Devを実現するため、運動イメージによる運動誘発電位 (MI: Motor Imagery) をIoT-Devに実装することの実現可能性について、深層学習モデルの最適化の観点から検討を行った。国際的なベンチマークに用いられているBCI competition IV-2a on 4-class MIと呼ばれる4クラス分類における大規模なMIのデータセットを用いて検討を行った結果、最大で12.1M (10の6乗) MAC (積和演算) 処理能力、20.5k (10の3乗) 個のパラメータを記憶するメモリ容量があれば、本検討で用いたEEGTCN-Netと呼ばれる独自のDNNアーキテクチャにおいて83.84%の高い識別精度が得られることが明らかとなっている。
今後は１５チャンネルの電極の配置による実験を行い、MI取得用の実験タスクを用いて、特に居住環境下でノイズが含まれる状態でこれらを取得し、DNNの学習データセットを取得する。なお、実験の際には人を対象とする医学的に関する倫理指針を遵守して行う。まず、執り行う実験については学外の倫理委員会に申請し、承認を得る。承認を得た後、本実験を行うこととする。本データを用いて，改めて作成した深層学習モデルの性能を評価する。そこで、性能が問題ないことが明らかとなれば、本モデルを高効率なMCUを搭載する市販のIoT-Devにまずは実装し、その速度性能・消費電力性能の計測を行い、モデルの効果を検証する。
|
| Causes of Carryover |
本研究は、“人を対象とする医学的に関する倫理指針”を遵守して行うため、執り行う実験については学外の倫理委員会に申請し、承認を得る。当初、当該年度に倫理委員会での審査を依頼する計画であったことから、審査に係る費用を計上する予定であったが、実験を次年度に行う計画に変更したため、次年度使用額が生じることとなった。
|
