2019 Fiscal Year Research-status Report
超解像化fMRIに対する教師無し学習を併用した脳情報デコーディングシステムの開発
| Project/Area Number |
17K00312
|
|---|
| Research Institution | Kochi University of Technology |
|---|
Principal Investigator |
吉田 真一 高知工科大学, 情報学群, 准教授 (30334519)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡本 一志 電気通信大学, 大学院情報理工学研究科, 助教 (10615032)
佐伯 幸郎 神戸大学, システム情報学研究科, 特命講師 (40549408)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 超解像 / MRI / CNN / GAN / SRGAN |
|---|
| Outline of Annual Research Achievements |
畳み込みニューラルネット(CNN)を用いた超解像の研究が進展しており，本研究では特に敵対的生成ネットワーク(GAN)による超解像モデルであるSRGANの一種のESRGAN (Enhanced SRGAN)を参考に，3次元MRI画像に対応した3次元版の ESRGAN を検討した．一般に敵対的生成モデルが必要とする計算資源（メモリおよび計算時間）は大きく，更に3次元画像に対応させるモデルはモデル構造（モデルパラメータ数）が大きくなり，一般の計算機では計算が事実上不可能になることがしばしばある．また，画像特徴量を獲得する表現学習がCNNにおいて重要であるが，大きなデータ数が用意できない医用画像や脳情報復元の分野では，転移学習が有効であるものの，3次元画像の場合，2次元での ImageNet のような表現学習を直接行うデータセットが存在しない．そのため，本研究では，画像データが持つ空間的連続性，および2次元での表現学習・転移学習の結果を活用するため，Sagittal, Coronal, Axial の各3方向の2次元スライス画像に対して超解像を行い，これにBicubic補間を組み合わせて，低計算コストの疑似的3次元超解像を提案した．更に，近年の脳データ活用の情勢は，機能画像への機械学習の適用だけでなく，構造画像に対する機械学習適用も活発になりつつあり，本研究でも構造画像に対するCNN適用の可能性を検討した．これらの成果を，今後組み合わせることで，MRI3次元画像の超解像技術の進展と，新たな特徴量の発見，それらを活用した脳情報復元のための低次元特徴量の構成に寄与することが期待できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初研究計画の内容に加え，SRGAN を用いた超解像を採り入れることができていること，更に低計算コスト，転移学習も可能となる2次元CNNベースの3次元超解像を提案したことは，当初計画を上回る結果と考えている．更に，CNNによる fMRI, sMRI の機械学習および，ウェーブレットによる周波数特徴を組み合わせることで，低次元特徴による識別モデルが構築できるものと考えている．
|
| Strategy for Future Research Activity |
SRGANおよび2019年度に提案した低次元SRGANによる3次元超解像による超解像画像から，低次元特徴量の抽出を行う．超解像により細部が推定された画像において機能画像または構造画像の種類の判別に有用な特徴が復元されることが期待されるが，一方で自由度の過度な増大による次元の呪いの問題も大きくなる．超解像からの識別・判別に有用な低次元特徴量について，CNNベースの表現学習による特徴量の獲得と，特徴工学的手法の両面を合わせた特徴量の検討を行い，その有効性を探る．
|
| Causes of Carryover |
MRI実験において，実験停止期間が累計8か月あり，この間の実験が行えなかったため，2020年度まで延期して実験を行う．翌年度は，MRI使用料，実験被験者謝金等のデータ収集費用に10万円，データ解析用計算機20万円，データ保存用記録機器に10万円，学術発表および成果出版費に20万円を予定している．
|
