研究領域 | 実世界の奥深い質感情報の分析と生成 |
研究課題/領域番号 |
20H05954
|
研究種目 |
学術変革領域研究(A)
|
配分区分 | 補助金 |
審査区分 |
学術変革領域研究区分(Ⅳ)
|
研究機関 | 株式会社国際電気通信基礎技術研究所 |
研究代表者 |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
研究分担者 |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
研究期間 (年度) |
2020-11-19 – 2025-03-31
|
研究課題ステータス |
交付 (2024年度)
|
配分額 *注記 |
82,030千円 (直接経費: 63,100千円、間接経費: 18,930千円)
2024年度: 13,780千円 (直接経費: 10,600千円、間接経費: 3,180千円)
2023年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)
2022年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円)
2021年度: 14,430千円 (直接経費: 11,100千円、間接経費: 3,330千円)
2020年度: 23,400千円 (直接経費: 18,000千円、間接経費: 5,400千円)
|
キーワード | ブレイン・デコーディング / 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 / コンピューターグラフィックス |
研究開始時の研究の概要 |
リアルな外界の認識は、物体表面の見えだけではなく、その背後にある世界の実在感を伴う。脳は、知識や身体状態と組合せて外的世界をモデル化することで、リアルな質感を生み出していると考えられる。本課題では、大規模データで訓練した機械学習モデルと脳の情報表現の相同性を利用して、実世界のリアルな経験の脳情報表現を定量的な予測にもとづき明らかにする。研究代表者が世界をリードしてきた脳機械信号変換アプローチと最新のコンピュータグラフィックス・コンピュータビジョン技術を融合し、見えの背後にある深い質感の脳内表現の解明を目指す。
|
研究実績の概要 |
本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することで、3次元質感の脳内表現の解明を進めた。2022年度に開発した個人間の脳活動パターン変換手法(脳コード変換)を発展させ、視覚野の階層的な対応関係の自動学習を実現した。この手法により、限られたデータからでも脳活動パターンを階層的な深層学習特徴量に変換し、視覚イメージを再構築できるようになり、多様な質感表現の可視化への応用可能性が広がった。3次元再構成については、脳内の3次元情報表現を直接利用しているのか、脳内2次元情報から生成AIモデルが変換しているのかを明らかにするため、以下の研究を進めた。(1)ポイントクラウドを入出力とするオートエンコーダーを用いて2次元特徴に依存しない3次元特徴抽出方法を確立し、脳からのデコーディングのターゲットとした。(2)ランダムドットステレオグラムによる3次元刺激を用いて、脳内の3次元表現を直接利用した再構成が可能であることを確認した。また、2次元シルエットが同一で奥行きのみ異なる立体の再構成にも成功した。さらに、本課題で開発した手法を音声再構成にも応用し、被験者が聞いた音の脳からの再構成を実現した。加えて、CGの少数のパラメータを用いて脳活動からの再構成をモデルベースに行う手法の開発に着手し、単純な形状の最適化に成功した。本研究の成果は、脳内の3次元質感や情動の表現を解明し、脳-機械インタフェースの高度化に寄与すると期待される。2024年度は、これまでの研究成果を総括し、3次元質感解読技術の確立と脳内の空間表現メカニズムの解明を目指す。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究プロジェクトは全体として順調に進展している。2023年度中には、田中美里、青木俊太郎、長野祥大、白川 健、北海道大学の鈴木りえると鈴木勇翔がメンバーとして参加し、メンバー等とともに東京医科歯科大学のPARK Jongyun、京都大学の井戸孝哉ら共同研究者が領域会議に参加した。
|
今後の研究の推進方策 |
当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。本研究プロジェクトの最終年度にあたり、これまでの研究成果を総括し、3次元質感解読技術の確立と成果の取りまとめを行う。具体的には 以 下の点について研究開発を進める。 (1)脳活動からの3次元再構成が、脳内のどのような空間表現の抽出にもとづいているかについての検証実験を進め、成果の取りまとめを行 う。 (2)CGモデルを用いたモデルベースの再構成手法を確立する。
|