| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05954
|
|---|
| 研究機関 | 株式会社国際電気通信基礎技術研究所 |
|---|
研究代表者 |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| 研究分担者 |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| キーワード | 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 |
|---|
| 研究実績の概要 |
本研究課題では、脳-機械信号変換を3次元モデルに拡張することにより、3次元質感の脳内表現の解明を進めている。コンピュータビジョンやコンピュータグラフィックス分野で開発されてきた2次元画像から3次元構造への変換モデル（２D-3Dモデル）を、脳内の階層的情報表現のプロキシとして用いる。２D-3Dモデルの信号とfMRIで計測する脳活動信号を、脳デコーディングにもとづく脳-機械信号変換によって関連付けることで、世界の実在感を生み出す質感情報表現の解明を目指している。2021年度は、同一の刺激を入力したときのDNNモデルの活動値と脳の活動パターンの関係を定量化する一般的なアルゴリズムを完成させた。また、再構成画像に主観を反映させられることを実験的に証明する研究を発表した。２D-3Dモデルに関しては、ボクセルおよびメッシュ出力をもつモデルを探索し、脳活動パターンからのモデルの内部信号を高精度で予測できることを確認した。また、予測（デコード）されたモデルの内部信号から3次元形状を再構成するための基盤的技術を開発した。CG研究に関しては、物理方程式に基づいたリアルで立体感のある映像の生成のため、仮想物体の輝度および動きという二つの観点から研究を進めている。２０２１年度は、３次元質感を再現する基盤技術として、インタラクティブなパレットベースの色変換のための最適化手法を開発した。また、人工光源を考慮した夜空の効率的な描画に関する研究発表を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
コロナ感染防止のため一般の被験者を用いた実験は行っていないが、研究室メンバーを被験者として実験および予備実験をすすめることができた。またメンバーとして塚本光昭、PARK Jongyun、中村僚宏、HO Jun Kai、程帆、白川健、宮口直樹、佐藤周平の研究スタッフと学生等が参加した。
|
| 今後の研究の推進方策 |
概ね当初の計画通り研究は進んでいる。3次元デコーディングの完成度を高め、CG技術との融合を図る。2022年度に新たに加入する研究室メンバーと、２D-3D表現学習の数理的基盤を探索する。
|
