2017 Fiscal Year Research-status Report
fMRI/MEG脳活動から視覚的「立体感」を画像として復元する技術の開発
| Project/Area Number |
17K20021
|
|---|
| Research Institution | National Institute of Information and Communications Technology |
|---|
Principal Investigator |
番 浩志 国立研究開発法人情報通信研究機構, 脳情報通信融合研究センター脳情報通信融合研究室, 研究員 (00467391)
|
|---|
| Project Period (FY) |
2017-06-30 – 2020-03-31
|
| Keywords | fMRI / MEG / 脳機能イメージング / 3D知覚 / 立体視 / 実験心理学 / 神経科学 / 物体認知 |
|---|
| Outline of Annual Research Achievements |
H29年度はまず、3D画像および2D画像に対する脳活動を計測し、基礎データの収集を行った。具体的には、3D自然風景写真2,400枚(1名の被験者のみ4,000枚)を4～8秒おきに観察中の5名の被験者の脳活動をfMRIで計測し、自然風景に含まれるさまざまな奥行き手掛かりに対する脳の活動パターンを取得した。今後、これらの写真に含まれる奥行き手掛かりを画像のピクセル(あるいは数ピクセルを含むごく小領域)毎にラベリングし、脳活動パターンを説明するためのエンコーディングモデルの制作を試みる。なお、本研究の内容については所属機関の生体情報倫理委員会および安全審査委員会に事前審査を受け、安全に実験を遂行した。被験者の個人情報保護に関しても細心の注意を払い、脳機能データの匿名化などの処理を行った。
また、最終目標に向けた基礎的データ・知見の収集と解析対象とする視覚野を同定する目的で、イギリスのケンブリッジ大学、ベルギーのKU Leuven大学および米国ハーバード大学の研究者らと共同で、3D手掛かりの統合に関わるヒトおよびサルの脳情報処理経路の違いを比較検討する研究を行った(サルのイメージングはベルギーKU Leuven大学の倫理規定に則り、ベルギーのみで行った)。取得したデータの解析には代表者自身がこれまでに開発した自作のツールを用いた。結果、サルとヒトでは3D手掛かり処理経路が異なることが明らかになった。本研究成果は、国際誌に投稿され、現在PLoS Biology誌にて査読中である。また、この研究通じて、本研究の目標である2D風景写真の3D化のためには、主に10領野の脳活動を対象とすればよいことが分かった。
また、予備実験段階ではあるが、香港大学の研究者らと共同で、生物らしさ(顔など)の手掛かりが立体視に及ぼす影響およびそれらを処理する脳部位を同定するためのfMRI実験を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
H29年度の前半は、主に実験で用いる3D自然風景写真の収集と整備、そしてそれらの写真を脳機能イメージングの視覚刺激として用いるための加工などに費やしたが、後半からは実際の脳活動計測まで進めることができた。基礎データの収集はほぼ完了したので、今後はこれらのデータ(3D写真およびそれらの写真1枚1枚に対する脳活動パターン)からいかに効率的かつ精確に3D特徴量を抽出できるか、さまざまな解析テクニックを適用する段階にある。これらの状況を総合的にみて、3年間の研究期間の初年度として、研究課題は当初の予定通りに進展しているといえるだろう。
また、fMRIによる脳機能イメージングは空間解像度には優れる(1-2mm cubic程度の空間解像度で脳活動計測が可能)が、時間解像度はそれほど高くなく、情報処理の時間的な流れを把握するためには他の脳機能イメージング法を組み合わせて使用する必要がある。このため、fMRI実験で用いた3D自然風景写真と同一の画像を刺激として用いて、時間解像度に優れるMEGによる脳活動計測を行い(1000Hzでの脳活動計測を予定)、MEGで得られた脳活動の知見もモデルに組み込む予定であった。しかしながら、MEG実験については時間の制約や装置の利用状況の兼ね合いなどからH29年度中に実験を実施することができなかった(予備調査や本研究の目標達成に必要となる基礎的知見を収集するためのMEG研究は実施済)ため、研究スケジュールを修正し、H30年度あるいはH31年度にMEG実験を実施する予定である。
|
| Strategy for Future Research Activity |
[研究実績の概要]で述べたとおり、H29年度中に本研究の第1段階である基礎データの収集は完了したので、今後はこれらのデータからいかに精確にリッチで意味のある3D手掛かり特徴量を抽出できるかが本研究の成功の鍵を握る。このため、H30年度は刺激として用いた3D自然風景写真に画像処理を施し、脳活動を説明するための適切なエンコーディングモデルの構築を試みる。従来の立体視の研究では左右網膜像のズレ、すわなち「両眼視差」手掛かりのみが着目されてきたが、本研究では研究代表者自身のこれまでの研究成果に基づいて、陰影、パースペクティブ、サイズ差、遮蔽などのいわゆる「絵画的奥行き手掛かり」もモデルに並列的に組み込むことで、より精度の高い3D特徴量の抽出を目指す。この複数の手掛かりの並列的なモデル化手続きは、単にモデルの精確さを向上させるのみならず、異なる奥行き手掛かりが脳内でどのように統合されて統一的な奥行き知覚が成立するのかという未解明の謎の解明にも貢献する可能性を秘めた重要な知見である。
さらに、残り2年の研究期間を使って文献調査を進め、現在発展が著しいニューラルネットワーク学習器による特徴量集出にも挑戦する予定である。これにより、リニアなエンコーディングモデルでは検出不可能な特徴量を抽出したり、画像復元の精度をさらに向上させることができるのではないかと期待して研究を進めている。
また、H30年度は[研究実績の概要]に述べた、生物らしさが立体視に及ぼす影響を調べる研究にも本格的に取り組む予定である。自然風景写真を3D化するためには、実験上の統制で手掛かりが限定された立体刺激のみを用いた研究では限界がある。生物が有する特徴(顔は凸型であるという事前知識など)がどのように立体像の知覚に影響を及ぼすかを調べ、その範囲を抑えておくことも、本研究の達成に重要な知見である。
|
| Causes of Carryover |
H29年度は当初の計画と異なり、旅費、人件費・謝金、その他の支出は生じなかった。これは、予備調査のためのfMRIデータを精度良く収集するたために、外部には被験者を依頼せず、研究代表者が所属する研究グループ内、あるいは研究内容の近い研究室に所属する3D視実験に熟練した学生らにボランティアで5-7回のfMRI計測を依頼したためである。このため、謝金が発生せず、予算繰り越しが生じた。なお、本fMRI計測の内容については、所属機関の生体情報倫理委員会および安全審査委員会に事前審査を受け、安全に実験を遂行した。被験者の個人情報保護に関しても細心の注意を払い、脳機能データの匿名化などの処理を行った。また、被験者には無理なスケジュールでfMRI計測に参加しないよう、1人の被験者につき1週間に2度までの計測ペースで実験を遂行した。さらに、被験者の意志でいつでも研究を中止、あるいはデータを廃棄できる旨を周知した。
予備調査は終えたため、H30年度は本実験で外部の一般の方々に被験者を依頼した際に繰り越し金額を謝金として利用したい。また、MEG実験などH29年度中に実施できなかった一部の実験を円滑に実施するための実験補助員への謝金として繰越金を利用したい。
|
Research Products
(9 results)
