Neural representation of 3D Shitsukan

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05954
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Advanced Telecommunications Research Institute International
• Principal Investigator: 神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
• Co-Investigator(Kenkyū-buntansha): 土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥82,030,000 (Direct Cost: ¥63,100,000、Indirect Cost: ¥18,930,000); Fiscal Year 2024: ¥13,780,000 (Direct Cost: ¥10,600,000、Indirect Cost: ¥3,180,000); Fiscal Year 2023: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2022: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2021: ¥14,430,000 (Direct Cost: ¥11,100,000、Indirect Cost: ¥3,330,000); Fiscal Year 2020: ¥23,400,000 (Direct Cost: ¥18,000,000、Indirect Cost: ¥5,400,000)
• Keywords: ブレイン・デコーディング / 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 / コンピューターグラフィックス

Outline of Research at the Start

リアルな外界の認識は、物体表面の見えだけではなく、その背後にある世界の実在感を伴う。脳は、知識や身体状態と組合せて外的世界をモデル化することで、リアルな質感を生み出していると考えられる。本課題では、大規模データで訓練した機械学習モデルと脳の情報表現の相同性を利用して、実世界のリアルな経験の脳情報表現を定量的な予測にもとづき明らかにする。研究代表者が世界をリードしてきた脳機械信号変換アプローチと最新のコンピュータグラフィックス・コンピュータビジョン技術を融合し、見えの背後にある深い質感の脳内表現の解明を目指す。

Outline of Annual Research Achievements

本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することで、3次元質感の脳内表現の解明を進めた。2022年度に開発した個人間の脳活動パターン変換手法（脳コード変換）を発展させ、視覚野の階層的な対応関係の自動学習を実現した。この手法により、限られたデータからでも脳活動パターンを階層的な深層学習特徴量に変換し、視覚イメージを再構築できるようになり、多様な質感表現の可視化への応用可能性が広がった。3次元再構成については、脳内の3次元情報表現を直接利用しているのか、脳内2次元情報から生成AIモデルが変換しているのかを明らかにするため、以下の研究を進めた。(1)ポイントクラウドを入出力とするオートエンコーダーを用いて2次元特徴に依存しない3次元特徴抽出方法を確立し、脳からのデコーディングのターゲットとした。(2)ランダムドットステレオグラムによる3次元刺激を用いて、脳内の3次元表現を直接利用した再構成が可能であることを確認した。また、2次元シルエットが同一で奥行きのみ異なる立体の再構成にも成功した。さらに、本課題で開発した手法を音声再構成にも応用し、被験者が聞いた音の脳からの再構成を実現した。加えて、CGの少数のパラメータを用いて脳活動からの再構成をモデルベースに行う手法の開発に着手し、単純な形状の最適化に成功した。本研究の成果は、脳内の3次元質感や情動の表現を解明し、脳-機械インタフェースの高度化に寄与すると期待される。2024年度は、これまでの研究成果を総括し、3次元質感解読技術の確立と脳内の空間表現メカニズムの解明を目指す。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究プロジェクトは全体として順調に進展している。2023年度中には、田中美里、青木俊太郎、長野祥大、白川 健、北海道大学の鈴木りえると鈴木勇翔がメンバーとして参加し、メンバー等とともに東京医科歯科大学のPARK Jongyun、京都大学の井戸孝哉ら共同研究者が領域会議に参加した。

Strategy for Future Research Activity

当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。本研究プロジェクトの最終年度にあたり、これまでの研究成果を総括し、3次元質感解読技術の確立と成果の取りまとめを行う。具体的には 以 下の点について研究開発を進める。 (1)脳活動からの3次元再構成が、脳内のどのような空間表現の抽出にもとづいているかについての検証実験を進め、成果の取りまとめを行 う。
(2)CGモデルを用いたモデルベースの再構成手法を確立する。

Research Products

• [Int'l Joint Research] University of California, Berkeley(米国)
• [Journal Article] Inter-individual and inter-site neural code conversion and image reconstruction without shared stimuli (2024)
  • Author(s): Haibao Wang, Jun Kai Ho, Fan L. Cheng, Shuntaro C. Aoki, Yusuke Muraki, Misato Tanaka, Yukiyasu Kamitani
  • Journal Title: arXiv Volume: 2403 Pages: 11517-11517
  • Open Access
• [Journal Article] How emotion is experienced and expressed in multiple cultures: A large-scale experiment across North America, Europe, and Japan (2024)
  • Author(s): Alan S. Cowen, Jeffrey Brooks, Gautam Prasad, Misato Tanaka, Yukiyasu Kamitani, Vladimir Kirilyuk, Krishna Somandepalli, Brendan Jou, Florian Schrof, Hartwig Adam, Disa Sauter, Xia Fang, Kunalan Manokara, Panagiotis Tzirakis, Moses Oh, Dacher Keltner
  • Journal Title: Frontiers Volume: 15 Pages: 1350631-1350631
  • DOI: 10.3389/fpsyg.2024.1350631
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] A Simple and Interactive System for Modeling Typical Japanese Castles (2023)
  • Author(s): UMEYAMA Shogo、DOBASHI Yoshinori
  • Journal Title: IEICE Transactions on Information and Systems Volume: E106.D Issue: 2 Pages: 267-270
  • DOI: 10.1587/transinf.2022EDL8038
  • ISSN: 0916-8532, 1745-1361
  • Year and Date: 2023-02-01
  • Peer Reviewed / Open Access
• [Journal Article] Reconstructing visual illusory experiences from human brain activity (2023)
  • Author(s): Cheng Fan L.、Horikawa Tomoyasu、Majima Kei、Tanaka Misato、Abdelhack Mohamed、Aoki Shuntaro C.、Hirano Jin、Kamitani Yukiyasu
  • Journal Title: Science Advances Volume: 9 Issue: 46 Pages: 3906-3906
  • DOI: 10.1126/sciadv.adj3906
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Sound reconstruction from human brain activity via a generative model with brain-like auditory features (2023)
  • Author(s): Jong-Yun Park, Mitsuaki Tsukamoto, Misato Tanaka, Yukiyasu Kamitani
  • Journal Title: arXiv Volume: 2306 Pages: 11629-11629
  • Open Access
• [Journal Article] Reconstructing visual illusory experiences from human brain activity (2023)
  • Author(s): Fan Cheng, Tomoyasu Horikawa, Kei Majima, Misato Tanaka, Mohamed Abdelhack, Shuntaro C. Aoki, Jin Hirano, Yukiyasu Kamitani
  • Journal Title: arXiv Volume: 15 Pages: 545037-545037
  • DOI: 10.1101/2023.06.15.545037
  • Open Access
• [Journal Article] Efficient Visualization of Light Pollution for the Night Sky (2023)
  • Author(s): Dobashi Yoshinori, Ishikawa Naoto, Iwasaki Kei
  • Journal Title: ACM Transactions on Graphics Volume: 42 Issue: 6 Pages: 219-219
  • DOI: 10.1145/3618337
  • Peer Reviewed / Open Access
• [Journal Article] 最適化に基づくテーマカラーへの変換システム (2023)
  • Author(s): 佐藤周平、櫻井快勢、水嶋楓華、土橋宜典
  • Journal Title: 芸術科学会論文誌 Volume: Vol.22, No.4
  • Peer Reviewed / Open Access
• [Journal Article] Inter-individual deep image reconstruction via hierarchical neural code conversion (2023)
  • Author(s): Ho Jun Kai、Horikawa Tomoyasu、Majima Kei、Cheng Fan、Kamitani Yukiyasu
  • Journal Title: NeuroImage Volume: 271 Pages: 120007-120007
  • DOI: 10.1016/j.neuroimage.2023.120007
  • Peer Reviewed / Open Access
• [Journal Article] Visual discrimination of optical material properties: A large-scale study (2022)
  • Author(s): Sawayama Masataka、Dobashi Yoshinori、Okabe Makoto、Hosokawa Kenchi、Koumura Takuya、Saarela Toni P.、Olkkonen Maria、Nishida Shin'ya
  • Journal Title: Journal of Vision Volume: 22 Issue: 2 Pages: 17-17
  • DOI: 10.1167/jov.22.2.17
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Attention modulates neural representation to render reconstructions according to subjective appearance (2022)
  • Author(s): Horikawa Tomoyasu、Kamitani Yukiyasu
  • Journal Title: Communications Biology Volume: 5 Issue: 1 Pages: 1-12
  • DOI: 10.1038/s42003-021-02975-5
  • Peer Reviewed / Open Access
• [Journal Article] Inter-individual deep image reconstruction (2022)
  • Author(s): Ho Jun Kai、Horikawa Tomoyasu、Majima Kei、Kamitani Yukiyasu
  • Journal Title: bioRxiv Volume: 56 Pages: 474501-474501
  • DOI: 10.1101/2021.12.31.474501
  • Open Access
• [Journal Article] Synthesizing Directed Lighting Videos Using Acoustic Similarity (2022)
  • Author(s): Sakao Naho、Dobashi Yoshinori
  • Journal Title: The Journal of The Institute of Image Information and Television Engineers Volume: 76 Issue: 1 Pages: 150-155
  • DOI: 10.3169/itej.76.150
  • NAID: 130008138591
  • ISSN: 1342-6907, 1881-6908
  • Peer Reviewed / Open Access
• [Journal Article] A Study on Modeling of Polyhedral Crystal Clusters and its Evaluation (2021)
  • Author(s): 田宮 聖之、土橋 宜典
  • Journal Title: 電子情報通信学会論文誌D 情報・システム Volume: J104-D Issue: 10 Pages: 776-777
  • DOI: 10.14923/transinfj.2021JDL8003
  • ISSN: 1880-4535, 1881-0225
  • Year and Date: 2021-10-01
  • Peer Reviewed
• [Journal Article] Appearance Reproduction of Translucent Objects by Optimization of Material and Lighting Parameters (2021)
  • Author(s): 工藤 寛樹、土橋 宜典
  • Journal Title: 電子情報通信学会論文誌D 情報・システム Volume: J104-D Issue: 10 Pages: 778-779
  • DOI: 10.14923/transinfj.2021JDL8004
  • ISSN: 1880-4535, 1881-0225
  • Year and Date: 2021-10-01
  • Peer Reviewed
• [Journal Article] Brain hierarchy score: Which deep neural networks are hierarchically brain-like? (2021)
  • Author(s): Nonaka Soma、Majima Kei、Aoki Shuntaro C.、Kamitani Yukiyasu
  • Journal Title: iScience Volume: 24 Issue: 9 Pages: 103013-103013
  • DOI: 10.1016/j.isci.2021.103013
  • Peer Reviewed / Open Access
• [Journal Article] Synthesizing High-Resolution Clouds Using 2D and 3D Simulations (2021)
  • Author(s): Ryosuke Kawazumi, Yoshinori Dobashi
  • Journal Title: IIEEJ Transactions on Image Electronics and Visual Computing Volume: 9 Pages: 50-57
  • Peer Reviewed / Open Access
• [Journal Article] Convolution Formulation of Cost Function in Cohen-Or Color Harmonization (2021)
  • Author(s): Mannen Kento、Dobashi Yoshinori
  • Journal Title: SN Computer Science Volume: 3 Issue: 1 Pages: 86-86
  • DOI: 10.1007/s42979-021-00969-y
  • Peer Reviewed
• [Journal Article] Stream-Guided Smoke Simulations (2021)
  • Author(s): Syuhei Sato, Yoshinori Dobashi, Theodore Kim
  • Journal Title: ACM Transactions on Graphics Volume: Vol. 40 (4) Issue: 4 Pages: 1-7
  • DOI: 10.1145/3450626.3459846
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Sketch-based Synthesis of Facial Expression for 3D Character Models (2021)
  • Author(s): Oba Takayuki、Dobashi Yoshinori
  • Journal Title: The Journal of The Institute of Image Information and Television Engineers Volume: 75 Issue: 3 Pages: 448-453
  • DOI: 10.3169/itej.75.448
  • NAID: 130008032731
  • ISSN: 1342-6907, 1881-6908
  • Peer Reviewed / Open Access
• [Journal Article] Temporal and spatial anti-aliasing for rendering reflections on water waves (2021)
  • Author(s): Podee Namo、Max Nelson、Iwasaki Kei、Dobashi Yoshinori
  • Journal Title: Computational Visual Media Volume: 7 Issue: 2 Pages: 201-215
  • DOI: 10.1007/s41095-021-0204-1
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Presentation] 脳とAIは似ているか-NeuroAIの挑戦 (2023)
  • Author(s): 神谷 之康
  • Organizer: 日本心理学会第87回大会
  • Invited
• [Presentation] Efficient Visualization of Parameter Space for Rendering Translucent Objects (2023)
  • Author(s): Riel Suzuki, Yoshinori Dobashi
  • Organizer: NICOGRAPH International 2023
  • Int'l Joint Research
• [Presentation] An Interactive System for Drawing Anime Eyes (2023)
  • Author(s): Sota Iwata, Yoshinori Dobashi
  • Organizer: NICOGRAPH International 2023
  • Int'l Joint Research
• [Presentation] Bayesian Optimization for Stylized Image Composition (2023)
  • Author(s): Ryoma Hashimoto, Yoshinori Dobashi
  • Organizer: NICOGRAPH International 2023
  • Int'l Joint Research
• [Presentation] 物理ベースレンダリングを用いた半透明物体の質感空間の可視化 (2023)
  • Author(s): 鈴木りえる、土橋宜典
  • Organizer: Visual Computing 2023
• [Presentation] 微分画像を利用したサンプリング手法と半透明物体の質感空間の可視化 (2023)
  • Author(s): 鈴木りえる、土橋宜典
  • Organizer: 情報処理学会CGVI研究会第192回研究発表会
• [Presentation] Brain Based Rendering: 脳活動を用いたCG画像の生成 (2023)
  • Author(s): 鈴木 勇翔、土橋 宜典、田中 美里、青木 俊太郎、神谷 之康
  • Organizer: 情報処理学会CGVI研究会第192回研究発表会
• [Presentation] 脳活動を用いたCG画像の物体位置の推定 (2023)
  • Author(s): 鈴木 勇翔、土橋 宜典、田中 美里、青木 俊太郎、神谷 之康
  • Organizer: 令和5年度 電気・情報関係学会北海道支部連合大会
• [Presentation] A Liquid Sound Retrieval using History of Velocities in Physically-based Simulation (2022)
  • Author(s): Hyuga Saito, Syuhei Sato, Yoshinori Dobashi
  • Organizer: Proc. SIGGRAPH 2022
  • Int'l Joint Research
• [Presentation] Rendering of Scratched Transparent Materials using Precomputed SV-BSDFs (2022)
  • Author(s): Shintaro Fuji, Syuhei Sato, Syuhei Sato, Kei Iwasaki, Yoshinori Dobashi, Shangce Gao, Zheng Tang
  • Organizer: Proc. SIGGRAPH 2022
  • Int'l Joint Research
• [Presentation] Reconstruction of line illusion from human brain activity (2022)
  • Author(s): Cheng Fan, Horikawa Tomoyasu, Majima Kei, Kamitani Yukiyasu
  • Organizer: 2022 Conference on Cognitive Computational Neuroscience
  • Int'l Joint Research
• [Presentation] 参照画像を用いた爆発シミュレーションのスタイライゼーション (2022)
  • Author(s): 新重俊樹、土橋宜典
  • Organizer: 情報処理学会CGVI研究会第188回研究発表会
• [Presentation] 煙の輪郭形状を用いた乱流パラメータの推定に関する一検討 (2022)
  • Author(s): 川住 遼典、土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第188回研究発表会
• [Presentation] Adjusting Level of Abstraction for Stylized Image Composition (2022)
  • Author(s): Ryoma Hashimoto, Yoshinori Dobashi
  • Organizer: Proc. SIGGRAPH Asia
  • Int'l Joint Research
• [Presentation] 半透明物体のレンダリングのためのパラメータ空間の可視化 (2022)
  • Author(s): 鈴木りえる、土橋宜典
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] GPUを用いた空のフルスペクトルレンダリング (2022)
  • Author(s): 髙橋憂雅、土橋宜典
  • Organizer: 情報処理学会第85回全国大会
• [Presentation] 2D乱流合成を用いた煙シミュレーションの高速化 (2021)
  • Author(s): 笹 晃輔, 土橋 宜典, 佐藤 周平
  • Organizer: 情報処理学会CGVI研究会第185回研究発表会
• [Presentation] Inter-individual deep image reconstruction (2021)
  • Author(s): Ho, J. K., Horikawa, T., Majima, K. & Kamitani, Y
  • Organizer: neuromatch4.0
  • Int'l Joint Research
• [Presentation] Estimation of Parameters for Rendering Fog from a Single Image (2021)
  • Author(s): Toshiki Shinju and Yoshinori Dobashi
  • Organizer: 2022 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT)
  • Int'l Joint Research
• [Presentation] インタラクティブなパレットベースの色変換のための最適化手法 (2021)
  • Author(s): 水嶋 楓華, 佐藤 周平, 櫻井 快勢, 土橋 宜典, 高 尚策, 唐 政
  • Organizer: 情報処理学会CGVI研究会第184回研究発表会
• [Presentation] 物理シミュレーションにおける速度の履歴を用いた液体の音データの検索手法 (2021)
  • Author(s): 齊藤 彪雅, 佐藤 周平, 土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第184回研究発表会
• [Presentation] 参照画像を用いた霧パラメータの推定に関する一検討 (2021)
  • Author(s): 新重 俊樹，土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第184回研究発表会
• [Presentation] 地形の変形に伴う水シミュレーションの変形に関する考察 (2021)
  • Author(s): 大場 誉幸 , 佐藤 周平, 土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第184回研究発表会
• [Presentation] A study on physically based rendering of night sky using WebGL (2021)
  • Author(s): Naoto Ishikawa, Yoshinori Dobashi
  • Organizer: The 7th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2021)
  • Int'l Joint Research
• [Presentation] Synthesizing high-resolution clouds using 2D and 3D simulations (2021)
  • Author(s): Ryosuke Kawazumi, Yoshinori Dobashi
  • Organizer: The 7th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2021)
  • Int'l Joint Research
• [Presentation] 人工光源を考慮した夜空の効率的な描画に関する一検討 (2021)
  • Author(s): 石川 尚登, 土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第183回研究発表会
• [Presentation] 参照画像を用いた霧パラメータの推定 (2021)
  • Author(s): 新重 俊樹，土橋 宜典
  • Organizer: 情報処理学会CGVI研究会第183回研究発表会
• [Presentation] Reconstructing visual and subjective experience from the brain (2020)
  • Author(s): Yukiyasu Kamitani
  • Organizer: Feindel Virtual Brain and Mind Lecture Series
  • Int'l Joint Research / Invited
• [Presentation] Micro-specular-highlight real-time rendering (2020)
  • Author(s): Namo Podee, Nelson Max, Kei Iwasaki, and Yoshinori Dobashi
  • Organizer: 情報処理学会CGVI第181回研究発表会
• [Presentation] Interactive Modeling of Polyhedral Crystals (2020)
  • Author(s): Masayuki Tamiya, Yoshinori Dobashi
  • Organizer: International Workshop on Advanced Image Technology 2021 (IWAIT 2021)
• [Presentation] 衝突判定を考慮したインタラクティブな結晶集合体のモデリング (2020)
  • Author(s): 田宮聖之、土橋宜典
  • Organizer: 情報処理学会CGVI第180回研究発表会
• [Presentation] 照明パラメータの最適化を用いた半透明物体の質感再現 (2020)
  • Author(s): 工藤 寛樹、土橋宜典
  • Organizer: 情報処理学会CGVI第179回研究発表会
• [Book] 習慣と脳の科学 (2023)
  • Author(s): ラッセル・A・ポルドラック、神谷之康、児島修
  • Total Pages: 296
  • Publisher: みすず書房
  • ISBN: 9784622095880
• [Remarks] 脳と心の科学の「ミッドライフクライシス」
  • URL: https://www.note.kanekoshobo.co.jp/n/nd90894f959b1
• [Remarks] dissonant imaginary ライゾマティクス_マルティプレックス
  • URL: https://www.mot-art-museum.jp/exhibitions/rhizomatiks/