3次元質感の脳内表現の解明

2023 年度 実績報告書

• 研究領域: 実世界の奥深い質感情報の分析と生成
• 研究課題/領域番号: 20H05954
• 研究機関: 株式会社国際電気通信基礎技術研究所
• 研究代表者: 神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
• 研究分担者: 土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
• 研究期間 (年度): 2020-11-19 – 2025-03-31
• キーワード: 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学

研究実績の概要

本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することで、3次元質感の脳内表現の解明を進めた。2022年度に開発した個人間の脳活動パターン変換手法（脳コード変換）を発展させ、視覚野の階層的な対応関係の自動学習を実現した。この手法により、限られたデータからでも脳活動パターンを階層的な深層学習特徴量に変換し、視覚イメージを再構築できるようになり、多様な質感表現の可視化への応用可能性が広がった。3次元再構成については、脳内の3次元情報表現を直接利用しているのか、脳内2次元情報から生成AIモデルが変換しているのかを明らかにするため、以下の研究を進めた。(1)ポイントクラウドを入出力とするオートエンコーダーを用いて2次元特徴に依存しない3次元特徴抽出方法を確立し、脳からのデコーディングのターゲットとした。(2)ランダムドットステレオグラムによる3次元刺激を用いて、脳内の3次元表現を直接利用した再構成が可能であることを確認した。また、2次元シルエットが同一で奥行きのみ異なる立体の再構成にも成功した。さらに、本課題で開発した手法を音声再構成にも応用し、被験者が聞いた音の脳からの再構成を実現した。加えて、CGの少数のパラメータを用いて脳活動からの再構成をモデルベースに行う手法の開発に着手し、単純な形状の最適化に成功した。本研究の成果は、脳内の3次元質感や情動の表現を解明し、脳-機械インタフェースの高度化に寄与すると期待される。2024年度は、これまでの研究成果を総括し、3次元質感解読技術の確立と脳内の空間表現メカニズムの解明を目指す。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究プロジェクトは全体として順調に進展している。2023年度中には、田中美里、青木俊太郎、長野祥大、白川 健、北海道大学の鈴木りえると鈴木勇翔がメンバーとして参加し、メンバー等とともに東京医科歯科大学のPARK Jongyun、京都大学の井戸孝哉ら共同研究者が領域会議に参加した。

今後の研究の推進方策

当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。本研究プロジェクトの最終年度にあたり、これまでの研究成果を総括し、3次元質感解読技術の確立と成果の取りまとめを行う。具体的には 以 下の点について研究開発を進める。 (1)脳活動からの3次元再構成が、脳内のどのような空間表現の抽出にもとづいているかについての検証実験を進め、成果の取りまとめを行 う。
(2)CGモデルを用いたモデルベースの再構成手法を確立する。

研究成果

• [雑誌論文] Inter-individual and inter-site neural code conversion and image reconstruction without shared stimuli (2024)
  • 著者名/発表者名: Haibao Wang, Jun Kai Ho, Fan L. Cheng, Shuntaro C. Aoki, Yusuke Muraki, Misato Tanaka, Yukiyasu Kamitani
  • 雑誌名: arXiv 巻: 2403 ページ: 11517
  • DOI: 10.48550/arXiv.2403.11517
  • オープンアクセス
• [雑誌論文] How emotion is experienced and expressed in multiple cultures: A large-scale experiment across North America, Europe, and Japan (2024)
  • 著者名/発表者名: Alan S. Cowen, Jeffrey Brooks, Gautam Prasad, Misato Tanaka, Yukiyasu Kamitani, Vladimir Kirilyuk, Krishna Somandepalli, Brendan Jou, Florian Schrof, Hartwig Adam, Disa Sauter, Xia Fang, Kunalan Manokara, Panagiotis Tzirakis, Moses Oh, Dacher Keltner
  • 雑誌名: Frontiers 巻: 15 ページ: 1350631
  • DOI: 10.3389/fpsyg.2024.1350631
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Reconstructing visual illusory experiences from human brain activity (2023)
  • 著者名/発表者名: Cheng Fan L., Horikawa Tomoyasu, Majima Kei, Tanaka Misato, Abdelhack Mohamed, Aoki Shuntaro C., Hirano Jin, Kamitani Yukiyasu
  • 雑誌名: Science Advances 巻: 9 ページ: 3906
  • DOI: 10.1126/sciadv.adj3906
  • 査読あり / オープンアクセス
• [雑誌論文] Sound reconstruction from human brain activity via a generative model with brain-like auditory features (2023)
  • 著者名/発表者名: Jong-Yun Park, Mitsuaki Tsukamoto, Misato Tanaka, Yukiyasu Kamitani
  • 雑誌名: arXiv 巻: 2306 ページ: 11629
  • DOI: 10.48550/arXiv.2306.11629
  • オープンアクセス
• [雑誌論文] Reconstructing visual illusory experiences from human brain activity (2023)
  • 著者名/発表者名: Fan Cheng, Tomoyasu Horikawa, Kei Majima, Misato Tanaka, Mohamed Abdelhack, Shuntaro C. Aoki, Jin Hirano, Yukiyasu Kamitani
  • 雑誌名: arXiv 巻: 15 ページ: 545037
  • DOI: 10.1101/2023.06.15.545037
  • オープンアクセス
• [雑誌論文] Efficient Visualization of Light Pollution for the Night Sky (2023)
  • 著者名/発表者名: Dobashi Yoshinori, Ishikawa Naoto, Iwasaki Kei
  • 雑誌名: ACM Transactions on Graphics 巻: 42 ページ: 219
  • DOI: 10.1145/3618337
  • 査読あり / オープンアクセス
• [雑誌論文] 最適化に基づくテーマカラーへの変換システム (2023)
  • 著者名/発表者名: 佐藤周平、櫻井快勢、水嶋楓華、土橋宜典
  • 雑誌名: 芸術科学会論文誌 巻: Vol.22, No.4 ページ: 12:1-12:10
  • 査読あり / オープンアクセス
• [学会発表] 脳とAIは似ているか-NeuroAIの挑戦 (2023)
  • 著者名/発表者名: 神谷 之康
  • 学会等名: 日本心理学会第87回大会
  • 招待講演
• [学会発表] Efficient Visualization of Parameter Space for Rendering Translucent Objects (2023)
  • 著者名/発表者名: Riel Suzuki, Yoshinori Dobashi
  • 学会等名: NICOGRAPH International 2023
  • 国際学会
• [学会発表] An Interactive System for Drawing Anime Eyes (2023)
  • 著者名/発表者名: Sota Iwata, Yoshinori Dobashi
  • 学会等名: NICOGRAPH International 2023
  • 国際学会
• [学会発表] Bayesian Optimization for Stylized Image Composition (2023)
  • 著者名/発表者名: Ryoma Hashimoto, Yoshinori Dobashi
  • 学会等名: NICOGRAPH International 2023
  • 国際学会
• [学会発表] 物理ベースレンダリングを用いた半透明物体の質感空間の可視化 (2023)
  • 著者名/発表者名: 鈴木りえる、土橋宜典
  • 学会等名: Visual Computing 2023
• [学会発表] 微分画像を利用したサンプリング手法と半透明物体の質感空間の可視化 (2023)
  • 著者名/発表者名: 鈴木りえる、土橋宜典
  • 学会等名: 情報処理学会CGVI研究会第192回研究発表会
• [学会発表] Brain Based Rendering: 脳活動を用いたCG画像の生成 (2023)
  • 著者名/発表者名: 鈴木 勇翔、土橋 宜典、田中 美里、青木 俊太郎、神谷 之康
  • 学会等名: 情報処理学会CGVI研究会第192回研究発表会
• [学会発表] 脳活動を用いたCG画像の物体位置の推定 (2023)
  • 著者名/発表者名: 鈴木 勇翔、土橋 宜典、田中 美里、青木 俊太郎、神谷 之康
  • 学会等名: 令和5年度 電気・情報関係学会北海道支部連合大会