Neural representation of 3D Shitsukan
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05954
|
|---|
| Research Category |
Grant-in-Aid for Transformative Research Areas (A)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Transformative Research Areas, Section (IV)
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥82,030,000 (Direct Cost: ¥63,100,000、Indirect Cost: ¥18,930,000)
Fiscal Year 2022: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000)
Fiscal Year 2021: ¥14,430,000 (Direct Cost: ¥11,100,000、Indirect Cost: ¥3,330,000)
Fiscal Year 2020: ¥23,400,000 (Direct Cost: ¥18,000,000、Indirect Cost: ¥5,400,000)
|
|---|
| Keywords | 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 |
|---|
| Outline of Research at the Start |
リアルな外界の認識は、物体表面の見えだけではなく、その背後にある世界の実在感を伴う。脳は、知識や身体状態と組合せて外的世界をモデル化することで、リアルな質感を生み出していると考えられる。本課題では、大規模データで訓練した機械学習モデルと脳の情報表現の相同性を利用して、実世界のリアルな経験の脳情報表現を定量的な予測にもとづき明らかにする。研究代表者が世界をリードしてきた脳機械信号変換アプローチと最新のコンピュータグラフィックス・コンピュータビジョン技術を融合し、見えの背後にある深い質感の脳内表現の解明を目指す。
|
| Outline of Annual Research Achievements |
本研究課題では、脳-機械信号変換を3次元モデルに拡張することにより、3次元質感の脳内表現の解明を進めている。コンピュータビジョンやコンピュータグラフィックス分野で開発されてきた2次元画像から3次元構造への変換モデル（２D-3Dモデル）を、脳内の階層的情報表現のプロキシとして用いる。２D-3Dモデルの信号とfMRIで計測する脳活動信号を、脳デコーディングにもとづく脳-機械信号変換によって関連付けることで、世界の実在感を生み出す質感情報表現の解明を目指している。2021年度は、同一の刺激を入力したときのDNNモデルの活動値と脳の活動パターンの関係を定量化する一般的なアルゴリズムを完成させた。また、再構成画像に主観を反映させられることを実験的に証明する研究を発表した。２D-3Dモデルに関しては、ボクセルおよびメッシュ出力をもつモデルを探索し、脳活動パターンからのモデルの内部信号を高精度で予測できることを確認した。また、予測（デコード）されたモデルの内部信号から3次元形状を再構成するための基盤的技術を開発した。CG研究に関しては、物理方程式に基づいたリアルで立体感のある映像の生成のため、仮想物体の輝度および動きという二つの観点から研究を進めている。２０２１年度は、３次元質感を再現する基盤技術として、インタラクティブなパレットベースの色変換のための最適化手法を開発した。また、人工光源を考慮した夜空の効率的な描画に関する研究発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。またメンバーとして塚本光昭、PARK Jongyun、中村僚宏、HO Jun Kai、程帆、白川健、宮口直樹、佐藤周平の研究スタッフと学生等が参加した。
|
| Strategy for Future Research Activity |
概ね当初の計画通り研究は進んでいる。3次元デコーディングの完成度を高め、CG技術との融合を図る。2022年度に新たに加入する研究室メンバーと、２D-3D表現学習の数理的基盤を探索する。
|
Report
(1 results)
Research Products
(21 results)
