2018 Fiscal Year Annual Research Report
Integrative study on gaze shift and visual object recognition dynamics in natural scenes
| Project/Area Number |
17H01755
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
宮脇 陽一 電気通信大学, 大学院情報理工学研究科, 教授 (80373372)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 眼球運動 / 自然画像 / 脳 / 物体認識 / 時間 |
|---|
| Outline of Annual Research Achievements |
本年度では、前年度までの課題を継続しつつ、課題２の後半であるシーン画像の特徴量と注視の関係の解析に注力した。またこれと並行し、課題３の脳活動計測実験を開始した。この目標達成のために、以下の項目を実施した。
（１）注視順序に関連する画像特徴量の同定：前年度までの解析結果で得られた注視順序傾向と、画像特徴量の関係性を解析した。画像特徴量としては、注視頻度と強く相関することが知られているsaliencyに加え、深層ニューラルネットワークによって抽出した階層的画像特徴量も用いた。高次画像特徴量を画像ピクセル空間中で評価するため、深層ニューラルネットワークの階層性を逆にたどる手法のひとつであるsmoothGradを用いて、高次画像特徴量の空間分布を可視化する技術も開発した。
（２）視覚刺激に対するヒト脳磁場および機能的磁気共鳴画像の並行計測実験の実施：シーン画像を観察した際の脳活動計測の前に、物体画像に対する脳活動計測および解析の再現性の確認が必要な状況となったため、これを先んじて実施した。物体画像に対する脳活動計測は脳磁場（MEG）計測装置を用いて実施し、それと並行して、同様の画像に対する脳活動を機能的磁気共鳴画像（fMRI）計測装置を用いて同じく計測する実験を行った。
（３）視覚刺激画像に対するヒト脳磁場信号源推定解析の実施：項目（２）で計測したMEG信号とfMRI信号を組み合わせることにより、高時空間分解能で、物体画像観察時のヒト大脳皮質上神経電流分布を求めた。求めた神経電流分布の精度評価を行い、神経電流分布における画像情報表現解析に着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究開始当初に予定していた本年度の目標は概ね達成され、注視順序傾向と画像特徴量の関連性に関する興味深い結果が得られ始めている。またこれらの結果を踏まえ、脳活動計測実験も開始できている。しかし、シーン画像あるいは複数物体を含む画像に対する脳活動計測は今後の実施が必要な状況であり、計画より遅れが出ている部分もある。こうした状況を総合的に踏まえ、「（２）おおむね順調に進展している」の評価が妥当であると考える。
|
| Strategy for Future Research Activity |
今後は、これまで着した研究課題を継続しつつ、開発した手法ならびに得られた知見に基づきながら、脳活動計測実験におけるデータ収集と解析に本格的に着手する。この目標達成のために、以下の項目を順次実施する。
（１）注視順序に関連する画像特徴量の同定：前年度までに開発してきた画像特徴量と注視頻度ならびに注視順序傾向との関係性に関する知見の普遍性を検討するために、異なる深層ニューラルネットワークを複数用いて前年度までと同様の解析を行い、結果を比較する。階層クラスタリングなど教師なし学習の方法を応用し、注視順序傾向が何種類のサブグループに分類可能かを調べる。
（２）シーン画像に対するヒト脳磁場および機能的磁気共鳴画像の並行計測実験および脳活動信号源解析の実施：同様のシーン画像に対する脳磁場信号と機能的磁気共鳴画像信号を計測し、それぞれをベイズ統計的に組み合わせた手法により、シーン画像観察時の脳活動信号源推定を行う。
（３）シーン中に含まれる物体カテゴリ情報の抽出：項目（２）で推定された脳活動源信号の時間変化波形から、シーン中に含まれる物体カテゴリの予測可能性を定量評価する。また、その結果に基づき、ある物体カテゴリの情報がいつ脳活動に表現されるのかを調べる。
|
