2022 Fiscal Year Annual Research Report
Neural representation of 3D Shitsukan
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05954
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することにより、3次元質感や情動の脳内表現の解明を進めている。本年度は、同じ刺激を与えたときの脳活動パターンを個人間で変換する脳コード変換を用い、視覚野の階層的な対応関係を自動的に学習できることを示した論文を完成させた。これにより、限られたデータサンプルで学習させた変換器でも、脳活動パターンを階層的なDNN特徴量にデコードし、視覚イメージを再構築することができるようになった。また、階層的で微細な視覚特徴の情報が保持され、視覚の豊かさを捉えることができるため、多様な質感表現の可視化に応用できることが期待される。脳からの3次元再構成については、メッシュ、ポイントクラウド、ボクセル等の形式で脳からのデコード結果を表現する方式を実装し比較した。また、2D-3D変換モデルの内部表現の変換過程を可視化することで、多様な3次元表現の特徴づけを行った。感情については、感情語を大規模画像言語モデルの表現に変換して、画像の再構成プロセスに付加する手法により、被験者が体験する感情を反映した画像再構成の開発を行った。顔画像を用いた検証実験では、一部の表情について感情が反映される結果が得られたものの、全体的には十分な効果は得られなかった。CG研究については、光学材料特性の視覚的識別や煙の輪郭形状を用いた乱流パラメータの推定に関する研究を進め、成果を発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトは全体として順調に進展している。2022年度中に土肥英三郎（ATR）がメンバーとして参加し、3次元再構成プロジェクトに従事している。京都大学の長野 祥大、Haibao WANG、落合 美佳子が共同研究者として領域会議に参加した。
|
| Strategy for Future Research Activity |
当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。土橋研の学生が神谷研のfMRIデータを用いた解析を開始しており、実質的な共同研究として展開したい。今後、両グループは新たな研究課題を共同で設定し、研究成果を相互に共有し、意見交換を行っていく。また、学生同士の交流イベントも開催し、さらなる連携を深める予定である。
|
-
-
-
-
-
-
-
-
-
-
-
-
[Book] 習慣と脳の科学2023
Author(s)
ラッセル・A・ポルドラック、神谷之康、児島修
Total Pages
296
Publisher
みすず書房
ISBN
978-4-622-09588-0
-
