| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05954
|
|---|
| 研究種目 |
学術変革領域研究(A)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
学術変革領域研究区分(Ⅳ)
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| 研究分担者 |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
82,030千円 (直接経費: 63,100千円、間接経費: 18,930千円)
2024年度: 13,780千円 (直接経費: 10,600千円、間接経費: 3,180千円)
2023年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)
2022年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)
2021年度: 14,430千円 (直接経費: 11,100千円、間接経費: 3,330千円)
2020年度: 23,400千円 (直接経費: 18,000千円、間接経費: 5,400千円)
|
|---|
| キーワード | ブレイン・デコーディング / 認知計算神経科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知科学 / コンピューターグラフィックス |
|---|
| 研究開始時の研究の概要 |
リアルな外界の認識は、物体表面の見えだけではなく、その背後にある世界の実在感を伴う。脳は、知識や身体状態と組合せて外的世界をモデル化することで、リアルな質感を生み出していると考えられる。本課題では、大規模データで訓練した機械学習モデルと脳の情報表現の相同性を利用して、実世界のリアルな経験の脳情報表現を定量的な予測にもとづき明らかにする。研究代表者が世界をリードしてきた脳機械信号変換アプローチと最新のコンピュータグラフィックス・コンピュータビジョン技術を融合し、見えの背後にある深い質感の脳内表現の解明を目指す。
|
| 研究実績の概要 |
本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することにより、3次元質感や情動の脳内表現の解明を進めている。本年度は、同じ刺激を与えたときの脳活動パターンを個人間で変換する脳コード変換を用い、視覚野の階層的な対応関係を自動的に学習できることを示した論文を完成させた。これにより、限られたデータサンプルで学習させた変換器でも、脳活動パターンを階層的なDNN特徴量にデコードし、視覚イメージを再構築することができるようになった。また、階層的で微細な視覚特徴の情報が保持され、視覚の豊かさを捉えることができるため、多様な質感表現の可視化に応用できることが期待される。脳からの3次元再構成については、メッシュ、ポイントクラウド、ボクセル等の形式で脳からのデコード結果を表現する方式を実装し比較した。また、2D-3D変換モデルの内部表現の変換過程を可視化することで、多様な3次元表現の特徴づけを行った。感情については、感情語を大規模画像言語モデルの表現に変換して、画像の再構成プロセスに付加する手法により、被験者が体験する感情を反映した画像再構成の開発を行った。顔画像を用いた検証実験では、一部の表情について感情が反映される結果が得られたものの、全体的には十分な効果は得られなかった。CG研究については、光学材料特性の視覚的識別や煙の輪郭形状を用いた乱流パラメータの推定に関する研究を進め、成果を発表した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究プロジェクトは全体として順調に進展している。2022年度中に土肥英三郎（ATR）がメンバーとして参加し、3次元再構成プロジェクトに従事している。京都大学の長野 祥大、Haibao WANG、落合 美佳子が共同研究者として領域会議に参加した。
|
| 今後の研究の推進方策 |
当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。土橋研の学生が神谷研のfMRIデータを用いた解析を開始しており、実質的な共同研究として展開したい。今後、両グループは新たな研究課題を共同で設定し、研究成果を相互に共有し、意見交換を行っていく。また、学生同士の交流イベントも開催し、さらなる連携を深める予定である。
|
