2021 Fiscal Year Research-status Report
自然視覚経験下の空間認識を支える脳内表現の定量的モデル化
| Project/Area Number |
19K12745
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
和田 充史 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (10418501)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 自然視覚経験 / 空間認識 / 脳内情報表現 / 深層学習 / モデルベース解析 / fMRI / 広視野 / 両眼立体視 |
|---|
| Outline of Annual Research Achievements |
人は様々な物に囲まれた複雑な環境の中でも，目に映る映像から瞬時に環境と自己の空間的な配置とその変化を把握できる．しかし，こうした空間認識を担う脳の仕組みついては，特定の視覚特徴に特化した人工的な刺激を用いた知見が主であり，日常の自然な状況での脳メカニズムは未だ明らかでない．本研究では，自由観視・広視野自然刺激下での自己と環境の空間認識に関わる脳内表現を定量的に同定することで，日常の空間認識を支えるヒト脳メカニズムを解明することを目的とする．本年度は，（１）これまでに開発したfMRI用広視野提示システムに対して視線計測機能を拡張するすることで，自由観視・広視野刺激下での脳活動と視線を同時に計測可能な独自のfMRI実験系の構築を進めた．眼球撮影光学系において，眼球照明用赤外光の接眼レンズ表面での反射像が視線計測のための画像認識処理に影響する問題の解決法として前年度に考案した光ファイバーケーブルを用いた眼球の直接照明方式について，これを実験での実使用が可能な水準まで実装を進めた．加えて（２）広視野自然刺激下における空間認識処理に対して，その情報表現をヒト大脳皮質と深層学習モデルで比較可能にするための独自刺激セット構築の準備を進めた．前年度に開発した一人称視点広視野3D映像録画システムによる録画映像が強度の映像酔いを生じる問題に対して，日常居住環境のカメラ映像をリアルにシミュレート可能なオープンソースプラットフォーム，Habitat-Simを用いた一人称視点広視野3D動画データセットを生成する環境を構築した．この方法の利点として，生成した動画に対応した深度マップおよび意味領域分割マップを容易に出力でき，同データを深層学習モデルの訓練用教師データとして用いることが可能となる．前年度構築した実写映像を録画するシステムと合わせて，今後fMRI実験で呈示する刺激映像データセットの構築に用いる．
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
次の理由により当初計画からの遅れを生じている．（１）視線計測機能を拡張するテーマにおいて，今回開発した光学系により撮影した眼球映像に対して，既存の視線検出ソフトウェアを適用したところ，動作が不安定となることが判明した．これは，既存ソフトウェアが対象映像におけるレンズ歪みなど今回光学系に固有の映像特性を前提としていないことによる．（２）fMRI実験で用いる映像刺激データセット構築に向けた準備として，日常行為時の一人称視点広視野動画をテスト撮影し被験者に呈示したところ，強度の映像酔いを生じたため同刺激を用いたfMRI実験実施が困難であることが判明した．映像撮影時の動作を制約するなど映像酔いを低減させる映像撮影方法や，映像酔に対して耐性にある被験者を選別するなど検討したが，いずれも十分な問題解決には至っていない．
|
| Strategy for Future Research Activity |
上記の課題に対して次の対処を行うことで当初計画を推進可能にする．（１）新たな眼球映像撮影方式について，既存ソフトウェアによる視線検出が困難なため，オープンソース視線計測ソフトウェアを改良した独自画像処理プログラムの実装と利用を進める．（２）実写方式による一人称視点広視野3D刺激セットにより強度の映像酔いが生じる問題に対しては，シミュレーションによる映像生成方式を合わせて採用することとする．同映像生成環境はすでに構築済であり，今後同方式を用いて多様なシーンを対象とした動画を生成することで，刺激セット構築を進める．
|
| Causes of Carryover |
コロナ禍における被験者実験実施および出張の抑制等が生じたため.状況の収束を待って，当該予算を，心理/fMRI実験に関わる被験者謝金支払，実験補助作業請負費，消耗品費等の用途のために充てて実施する.
|
