• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Neural representation of 3D Shitsukan

Planned Research

Project AreaAnalysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number 20H05954
Research Category

Grant-in-Aid for Transformative Research Areas (A)

Allocation TypeSingle-year Grants
Review Section Transformative Research Areas, Section (IV)
Research InstitutionAdvanced Telecommunications Research Institute International

Principal Investigator

神谷 之康  株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)

Co-Investigator(Kenkyū-buntansha) 土橋 宜典  北海道大学, 情報科学研究院, 教授 (00295841)
Project Period (FY) 2020-11-19 – 2025-03-31
Project Status Granted (Fiscal Year 2022)
Budget Amount *help
¥82,030,000 (Direct Cost: ¥63,100,000、Indirect Cost: ¥18,930,000)
Fiscal Year 2022: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000)
Fiscal Year 2021: ¥14,430,000 (Direct Cost: ¥11,100,000、Indirect Cost: ¥3,330,000)
Fiscal Year 2020: ¥23,400,000 (Direct Cost: ¥18,000,000、Indirect Cost: ¥5,400,000)
Keywords認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学
Outline of Research at the Start

リアルな外界の認識は、物体表面の見えだけではなく、その背後にある世界の実在感を伴う。脳は、知識や身体状態と組合せて外的世界をモデル化することで、リアルな質感を生み出していると考えられる。本課題では、大規模データで訓練した機械学習モデルと脳の情報表現の相同性を利用して、実世界のリアルな経験の脳情報表現を定量的な予測にもとづき明らかにする。研究代表者が世界をリードしてきた脳機械信号変換アプローチと最新のコンピュータグラフィックス・コンピュータビジョン技術を融合し、見えの背後にある深い質感の脳内表現の解明を目指す。

Outline of Annual Research Achievements

本研究課題では、脳-機械信号変換を3次元モデルに拡張することにより、3次元質感の脳内表現の解明を進めている。コンピュータビジョンやコンピュータグラフィックス分野で開発されてきた2次元画像から3次元構造への変換モデル(2D-3Dモデル)を、脳内の階層的情報表現のプロキシとして用いる。2D-3Dモデルの信号とfMRIで計測する脳活動信号を、脳デコーディングにもとづく脳-機械信号変換によって関連付けることで、世界の実在感を生み出す質感情報表現の解明を目指している。2021年度は、同一の刺激を入力したときのDNNモデルの活動値と脳の活動パターンの関係を定量化する一般的なアルゴリズムを完成させた。また、再構成画像に主観を反映させられることを実験的に証明する研究を発表した。2D-3Dモデルに関しては、ボクセルおよびメッシュ出力をもつモデルを探索し、脳活動パターンからのモデルの内部信号を高精度で予測できることを確認した。また、予測(デコード)されたモデルの内部信号から3次元形状を再構成するための基盤的技術を開発した。CG研究に関しては、物理方程式に基づいたリアルで立体感のある映像の生成のため、仮想物体の輝度および動きという二つの観点から研究を進めている。2021年度は、3次元質感を再現する基盤技術として、インタラクティブなパレットベースの色変換のための最適化手法を開発した。また、人工光源を考慮した夜空の効率的な描画に関する研究発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。またメンバーとして塚本光昭、PARK Jongyun、中村僚宏、HO Jun Kai、程帆、白川健、宮口直樹、佐藤周平の研究スタッフと学生等が参加した。

Strategy for Future Research Activity

概ね当初の計画通り研究は進んでいる。3次元デコーディングの完成度を高め、CG技術との融合を図る。2022年度に新たに加入する研究室メンバーと、2D-3D表現学習の数理的基盤を探索する。

Report

(1 results)
  • 2021 Annual Research Report

Research Products

(21 results)

All 2022 2021

All Journal Article (10 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 9 results,  Open Access: 7 results) Presentation (11 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] Attention modulates neural representation to render reconstructions according to subjective appearance2022

    • Author(s)
      Horikawa Tomoyasu、Kamitani Yukiyasu
    • Journal Title

      Communications Biology

      Volume: 5 Pages: 1-12

    • DOI

      10.1038/s42003-021-02975-5

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Inter-individual deep image reconstruction2022

    • Author(s)
      Ho Jun Kai、Horikawa Tomoyasu、Majima Kei、Kamitani Yukiyasu
    • Journal Title

      bioRxiv

      Volume: 56 Pages: 474501-474501

    • DOI

      10.1101/2021.12.31.474501

    • Related Report
      2021 Annual Research Report
    • Open Access
  • [Journal Article] Synthesizing Directed Lighting Videos Using Acoustic Similarity2022

    • Author(s)
      Sakao Naho、Dobashi Yoshinori
    • Journal Title

      Eizo Joho Media Gakkaishi

      Volume: 76 Issue: 1 Pages: 150-155

    • DOI

      10.3169/itej.76.150

    • NAID

      130008138591

    • ISSN
      1342-6907, 1881-6908
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Brain hierarchy score: Which deep neural networks are hierarchically brain-like?2021

    • Author(s)
      Nonaka Soma、Majima Kei、Aoki Shuntaro C.、Kamitani Yukiyasu
    • Journal Title

      iScience

      Volume: 24 Pages: 103013-103013

    • DOI

      10.1016/j.isci.2021.103013

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Synthesizing High-Resolution Clouds Using 2D and 3D Simulations2021

    • Author(s)
      Ryosuke Kawazumi, Yoshinori Dobashi
    • Journal Title

      IIEEJ Transactions on Image Electronics and Visual Computing

      Volume: 9 Pages: 50-57

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Convolution Formulation of Cost Function in Cohen-Or Color Harmonization2021

    • Author(s)
      Mannen Kento、Dobashi Yoshinori
    • Journal Title

      SN Computer Science

      Volume: 3 Pages: 1-8

    • DOI

      10.1007/s42979-021-00969-y

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Study on Modeling of Polyhedral Crystal Clusters and its Evaluation2021

    • Author(s)
      田宮 聖之、土橋 宜典
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J104-D Issue: 10 Pages: 776-777

    • DOI

      10.14923/transinfj.2021JDL8003

    • ISSN
      1880-4535, 1881-0225
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Appearance Reproduction of Translucent Objects by Optimization of Material and Lighting Parameters2021

    • Author(s)
      工藤 寛樹、土橋 宜典
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J104-D Issue: 10 Pages: 778-779

    • DOI

      10.14923/transinfj.2021JDL8004

    • ISSN
      1880-4535, 1881-0225
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Stream-Guided Smoke Simulations2021

    • Author(s)
      Syuhei Sato, Yoshinori Dobashi, Theodore Kim
    • Journal Title

      ACM Transactions on Graphics

      Volume: Vol. 40 (4) Pages: 1-7

    • DOI

      10.1145/3450626.3459846

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Sketch-based Synthesis of Facial Expression for 3D Character Models2021

    • Author(s)
      Oba Takayuki、Dobashi Yoshinori
    • Journal Title

      Eizo Joho Media Gakkaishi

      Volume: 75 Issue: 3 Pages: 448-453

    • DOI

      10.3169/itej.75.448

    • NAID

      130008032731

    • ISSN
      1342-6907, 1881-6908
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 2D乱流合成を用いた煙シミュレーションの高速化2021

    • Author(s)
      笹 晃輔, 土橋 宜典, 佐藤 周平
    • Organizer
      情報処理学会CGVI研究会第185回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Inter-individual deep image reconstruction2021

    • Author(s)
      Ho, J. K., Horikawa, T., Majima, K. & Kamitani, Y
    • Organizer
      neuromatch4.0
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Estimation of Parameters for Rendering Fog from a Single Image2021

    • Author(s)
      Toshiki Shinju and Yoshinori Dobashi
    • Organizer
      2022 INTERNATIONAL WORKSHOP ON ADVANCED IMAGE TECHNOLOGY (IWAIT)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] インタラクティブなパレットベースの色変換のための最適化手法2021

    • Author(s)
      水嶋 楓華, 佐藤 周平, 櫻井 快勢, 土橋 宜典, 高 尚策, 唐 政
    • Organizer
      情報処理学会CGVI研究会第184回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 物理シミュレーションにおける速度の履歴を用いた液体の音データの検索手法2021

    • Author(s)
      齊藤 彪雅, 佐藤 周平, 土橋 宜典
    • Organizer
      情報処理学会CGVI研究会第184回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 参照画像を用いた霧パラメータの推定に関する一検討2021

    • Author(s)
      新重 俊樹,土橋 宜典
    • Organizer
      情報処理学会CGVI研究会第184回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 地形の変形に伴う水シミュレーションの変形に関する考察2021

    • Author(s)
      大場 誉幸 , 佐藤 周平, 土橋 宜典
    • Organizer
      情報処理学会CGVI研究会第184回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] A study on physically based rendering of night sky using WebGL2021

    • Author(s)
      Naoto Ishikawa, Yoshinori Dobashi
    • Organizer
      The 7th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Synthesizing high-resolution clouds using 2D and 3D simulations2021

    • Author(s)
      Ryosuke Kawazumi, Yoshinori Dobashi
    • Organizer
      The 7th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 人工光源を考慮した夜空の効率的な描画に関する一検討2021

    • Author(s)
      石川 尚登, 土橋 宜典
    • Organizer
      情報処理学会CGVI研究会第183回研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 参照画像を用いた霧パラメータの推定2021

    • Author(s)
      新重 俊樹,土橋 宜典
    • Organizer
      情報処理学会CGVI研究会第183回研究発表会
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2020-11-24   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi