| 研究課題/領域番号 |
19K12745
|
|---|
| 研究機関 | 国立研究開発法人情報通信研究機構 |
|---|
研究代表者 |
和田 充史 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳機能解析研究室, 研究員 (10418501)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 自然視覚経験 / 空間認識 / 脳内情報表現 / 深層学習 / モデルベース解析 / fMRI / 広視野 / 両眼立体視 |
|---|
| 研究実績の概要 |
人は様々な物に囲まれた複雑な環境の中でも，目に映る映像から瞬時に環境と自己の空間的な配置とその変化を把握できる．しかし，こうした空間認識を担う脳の仕組みついては，特定の視覚特徴に特化した人工的な刺激を用いた知見が主であり，日常の自然な状況での脳メカニズムは未だ明らかでない．本研究では，自由観視・広視野自然刺激下での自己と環境の空間認識に関わる脳内表現を定量的に同定することで，日常の空間認識を支えるヒト脳メカニズムを解明することを目的とする．本年度は，（１）これまでに開発したfMRI用広視野提示システムに対して視線計測機能を拡張することで，自由観視・広視野刺激下での脳活動と視線を同時に計測可能な独自のfMRI実験系の構築を進めた．具体的には，刺激映像提示に干渉することなく眼球撮影が可能な光路配置，MRI撮像に対する電磁波ノイズを生じない眼球の赤外光照射，そして被験者毎のキャリブレーションを容易にする眼球撮影用CCDの空間的配置，これらの設計と実装を行った．さらに，実環境におけるヒト被験者を用いた動作検証を通してMRI装置内において広視野映像提示に干渉せず眼球像が撮影できることを示した．また，（２）広視野自然刺激下における空間認識処理に対して，その情報表現をヒト大脳皮質と深層学習モデルで比較可能にするための独自刺激セット構築の準備を進めた．具体的には，ヘッド・マウント・ディスプレイ(HMD)に広視野ステレオカメラを組み合わせ，リアルタイムでHMDにパススルー表示した一人称視点広視野3Dカメラ映像を録画することで，人の日常生活に極めて近い視覚入力を映像として取得するシステムを開発した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
fMRI用広視野映像提示システムに視線計測機能を拡張するテーマにおいて若干の遅れを生じている．今回，刺激映像提示に干渉しない眼球映像の撮影に成功した．そこで，視線検出を行うために撮像した眼球映像を既存アイトラッカーソフトウェアに入力したところ，画像処理に問題が生じることが判明した．同ソフトウェアは画像中の瞳孔領域と角膜反射領域を同定することで視線位置を導出する．ところが，今回実現した方式では眼球照射用の赤外光が接眼レンズ表面で反射することで映像中に角膜反射と類似した輝点が生じる，既存ソフトウェアによる処理が失敗することが判明した．この問題に対して，接眼レンズ表面での赤外光反射を最小限に抑えるためのコーディングの施工等を実施したものの，この影響を完全に除去することは困難であることが分かった．よって，現段階において当初計画していたfMRI広視野提示下での視線検出までは実現できていない．
|
| 今後の研究の推進方策 |
今後は，まず上記問題に対処するための代替的な画像処理手法を確立することで当初計画を推進可能にする．具体的には，既存の視線検出ソフトウェアの代わりに，接眼レンズ表面で生じる赤外照明光反射を除去する処理を追加する，または角膜反射位置を必要としない手法を適用することで， fMRI広視野提示に対応した視線検出を実現する．同時に，深層学習モデルを用いた空間認識処理に関わる脳内表現解析を推進するため，日常に近い一人称視点広視野3D刺激セットの構築とこれを用いた脳活動データの収集を行い，既存の空間認識深層学習モデルを用いたモデルベース解析を実施していく予定である．
|
| 次年度使用額が生じた理由 |
当初研究計画からの遅れにより学会発表を実施せず，旅費・学会参加費として計上していた予算を執行しなかったため．次年度の学会発表費用として使用する予定である．
|
