| 研究課題/領域番号 |
21H03516
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
川鍋 一晃 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (30272389)
|
|---|
| 研究分担者 |
宮西 大樹 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究員 (10737521)
平山 淳一郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80512269)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 人間情報学 / マルチモーダル脳イメージング / 自己教師あり学習 / 転移学習 / 脳活動ダイナミクス |
|---|
| 研究実績の概要 |
教師ラベルの少ないマルチモーダル脳イメージングデータに 対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題に取り組んだ。第一に、自然な刺激や実験デザインを用いた脳イメージング研究にも応用可能な、複数領域の脳活動信号間の因果関係を課題や刺激ごとに要因分解できるNeural dSCAを開発した。この手法は、以前に提案したdSCAとNeural Networkを組み合わせたもので、これまで発見できなかった非線形な効果も発見することができるようになった。海外共同研究者が持つ動物の神経活動記録データにNeural dSCAを適用して有効性を検証するとともに、ATRが所有する 脳波データへの適用可能性を検討した。第二に、マルチモーダル時系列データの情報統合を行うマルチストリーム3次元畳み込みニューラルネットワークを開発した。これに基づいて、映像に含まれる外観・動作・音声情報を同時に用いて、映像に対する質問に回答するAIアーキテクチャを提案した。公開されている音声トラック付きの映像質問応答データに本手法を適用したところ、マルチモーダル情報の有効活用により、最先端の手法よりも優れたパフォーマンスを達成した。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、個人間較正変換と敵対的ドメイン適応を組み合わせることで、脳波データの個人差や非定常性を較正することができる脳波分類手法を開発した。空間的注意課題時の脳波の公開データベースの一部に本手法を適用し、その特徴や性能について検証した。個人間較正変換と敵対的ドメイン適応を併用することで、クラス間差が大きく、個人差が小さい分類特徴量を構築することができた一方、分類精度が向上するのは前被験者の一部に留まった。今後、その原因を突き止め、さらなる改良を目指す。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
脳波データに対する学習法に関しては、空間注意の主タスクの判別器に加えて、被験者やセッションなどのドメイン情報を名目ラベルとする判別器を同時学習する敵対的ドメイン適応ニューラルネットワークなど、基礎となるアーキテクチャの開発および学習法の評価を行うことができた。また、マルチモーダル時系列データの情報統合のための手法として、マルチストリーム3次元畳み込みニューラルネットワークを構築し、これを基に、マルチモーダル脳イメージングデータへの適用可能な枠組みが準備できる状態になった。さらに、複数領域の脳活動信号間の因果関係を課題や刺激ごとに要因分解できるNeural dSCAを開発し、fMRI脳機能ネットワークの活動状態をより詳細に解析できる可能性が広がった。以上のように、マルチモーダル脳イメージングデータに対する自己教師あり学習法の要素技術の研究開発が段階的に進んでいる。
|
| 今後の研究の推進方策 |
来年度は、研究協力者の森岡が提案したLSCL(local space-contrastive learning)を参考にして、fMRIデータに対する自己教師あり学習法の高度化に取り組む。また、これまで得られた自己教師あり学習法から得られる脳情報特徴量を、脳波MicrostateやfMRI安静時脳機能ネットワークと比較し、神経科学的に 解釈できる特徴量表現が得られるかを評価する。さらに、前年度に開発した、敵対的ドメイン適応ニューラルネットワークに基づく被験者間転移学習法の課題をより詳細に検討し、より多くの被験者に対して精度向上するよう改良を加える。ATRが実施している他のプロジェクトで、より高度なアーチファクト除去法を適用可能な装置で計測したマルチモーダル脳イメージングデータを収集する予定であるが、本プロジェクトでも自己教師あり学習法の開発と評価のためにこのデータを活用する計画である。最後に、本年度後半には、Hyvarinen教授(ヘルシンキ大)らとの直接交流も期待できるので、彼らのチームとの連携を強化して、研究をより加速する。
|
