2020 Fiscal Year Research-status Report
自然視覚経験下の空間認識を支える脳内表現の定量的モデル化
| Project/Area Number |
19K12745
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
和田 充史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳機能解析研究室, 主任研究員 (10418501)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 自然視覚経験 / 空間認識 / 脳内情報表現 / 深層学習 / モデルベース解析 / fMRI / 広視野 / 両眼立体視 |
|---|
| Outline of Annual Research Achievements |
人は様々な物に囲まれた複雑な環境の中でも，目に映る映像から瞬時に環境と自己の空間的な配置とその変化を把握できる．しかし，こうした空間認識を担う脳の仕組みついては，特定の視覚特徴に特化した人工的な刺激を用いた知見が主であり，日常の自然な状況での脳メカニズムは未だ明らかでない．本研究では，自由観視・広視野自然刺激下での自己と環境の空間認識に関わる脳内表現を定量的に同定することで，日常の空間認識を支えるヒト脳メカニズムを解明することを目的とする．本年度は，（１）これまでに開発したfMRI用広視野提示システムに対して視線計測機能を拡張するすることで，自由観視・広視野刺激下での脳活動と視線を同時に計測可能な独自のfMRI実験系の構築を進めた．前年度に実装した眼球撮影光学系の使用に際しては，眼球照明用赤外光の接眼レンズ表面での反射像が視線計測のための画像認識処理に影響する問題が新たに生じた．これに対し光ファイバーケーブルを用いた眼球の直接照明によりレンズ表面での照明反射を防ぐ方式を考案しその実装を進めた．（２）広視野自然刺激下における空間認識処理に対して，その情報表現をヒト大脳皮質と深層学習モデルで比較可能にするための独自刺激セット構築の準備を進めた．前年度に開発した一人称視点広視野3D映像録画システムに対して，HMD用視線計測装置を組み込むことで，録画映像と同期して撮影者の視線位置を取得し記録可能な機能を同システムに追加した．加えて，環境内でのHMDの位置・加速度情報（カメラ視点位置，視線方向，直線加速度と角速度）を動画と同期して記録する機能を実現した．同機能により取得した視線と頭部の位置と動きデータは対応する映像と合わせて自己運動推定に関わる脳内表現同定に必要となる．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
次の理由により当初計画からの遅れを生じている．（１）所属機関のMRI施設においてMRI装置のリプレースが実施され，それに伴い当初予定にないfMRI用広視野提示システムの改修を実施する必要が生じた．（２）視線計測機能を拡張するテーマにおいて，新たな課題として生じた眼球照射用赤外光が視線計測に影響する問題に対して解決法の考案とハードウェア実装を行うこととなった．新方式より接眼レンズ表面での赤外照明光反射を根本的に排除することが可能となり本課題解決に向けて大きく前進した一方，実際に撮影した眼球映像を用いた視線計測ソフトの動作検証に関しては今後検証が必要である．（３）fMRI実験で用いる映像刺激データセット構築に向けた準備として，日常行為時の一人称視点広視野動画をテスト撮影し被験者に呈示したところ，強度の映像酔いを生じたため同刺激を用いたfMRI実験実施が困難である可能性が判明した．映像取得方法と実験実施方法について今後再検討を要する．
|
| Strategy for Future Research Activity |
上記の課題に対して次の対処を行うことで当初計画を推進可能にする．（１）fMRI用広視野映像呈示システムの映像呈示部に関して，その筐体の形状を再設計することでリプレース後の新MRI装置で新たに使用する64チャンネル頭頸部用ヘッドコイルに対応させる．新筐体に関してはすでに試作を終え今後MRI装置内での実地検証を通して動作確認を行う．（２）新たな眼球映像撮影方式について，視線計測ソフトウェアによる視線同定の可否とその精度を検証する．既存ソフトウェアによる視線検出が困難な場合は，オープンソース視線計測ソフトウェアを改良した独自画像処理プログラムの実装と利用を検討する．（３）一人称視点広視野3D刺激セット構築に関しては，映像撮影時の動作を制約するなど映像酔いを低減させる映像撮影方法を検討すると同時に，映像酔に対して耐性にある被験者を選別することでfMRI実験実施の可能性を検討する．
|
| Causes of Carryover |
コロナ禍における被験者実験実施および出張の抑制等が生じたため．状況の収束を待って，当該予算をそれぞれの用途のために充てて実施する．
|
