2023 Fiscal Year Annual Research Report
Neural representation of 3D Shitsukan
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05954
|
|---|
| Research Institution | Advanced Telecommunications Research Institute International |
|---|
Principal Investigator |
神谷 之康 株式会社国際電気通信基礎技術研究所, 脳情報通信総合研究所, 研究室長 (50418513)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
土橋 宜典 北海道大学, 情報科学研究院, 教授 (00295841)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 認知科学 / コンピュータグラフィックス / 脳情報デコーディング / 認知計算神経科学 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、脳-機械信号変換を大規模データで訓練された多様な深層学習モデルに拡張することで、3次元質感の脳内表現の解明を進めた。2022年度に開発した個人間の脳活動パターン変換手法（脳コード変換）を発展させ、視覚野の階層的な対応関係の自動学習を実現した。この手法により、限られたデータからでも脳活動パターンを階層的な深層学習特徴量に変換し、視覚イメージを再構築できるようになり、多様な質感表現の可視化への応用可能性が広がった。3次元再構成については、脳内の3次元情報表現を直接利用しているのか、脳内2次元情報から生成AIモデルが変換しているのかを明らかにするため、以下の研究を進めた。(1)ポイントクラウドを入出力とするオートエンコーダーを用いて2次元特徴に依存しない3次元特徴抽出方法を確立し、脳からのデコーディングのターゲットとした。(2)ランダムドットステレオグラムによる3次元刺激を用いて、脳内の3次元表現を直接利用した再構成が可能であることを確認した。また、2次元シルエットが同一で奥行きのみ異なる立体の再構成にも成功した。さらに、本課題で開発した手法を音声再構成にも応用し、被験者が聞いた音の脳からの再構成を実現した。加えて、CGの少数のパラメータを用いて脳活動からの再構成をモデルベースに行う手法の開発に着手し、単純な形状の最適化に成功した。本研究の成果は、脳内の3次元質感や情動の表現を解明し、脳-機械インタフェースの高度化に寄与すると期待される。2024年度は、これまでの研究成果を総括し、3次元質感解読技術の確立と脳内の空間表現メカニズムの解明を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究プロジェクトは全体として順調に進展している。2023年度中には、田中美里、青木俊太郎、長野祥大、白川 健、北海道大学の鈴木りえると鈴木勇翔がメンバーとして参加し、メンバー等とともに東京医科歯科大学のPARK Jongyun、京都大学の井戸孝哉ら共同研究者が領域会議に参加した。
|
| Strategy for Future Research Activity |
当初の計画に従って研究を進めつつ、神谷グループと土橋グループの連携を更に強化する。本研究プロジェクトの最終年度にあたり、これまでの研究成果を総括し、3次元質感解読技術の確立と成果の取りまとめを行う。具体的には 以 下の点について研究開発を進める。 (1)脳活動からの3次元再構成が、脳内のどのような空間表現の抽出にもとづいているかについての検証実験を進め、成果の取りまとめを行 う。
(2)CGモデルを用いたモデルベースの再構成手法を確立する。
|
-
-
[Journal Article] How emotion is experienced and expressed in multiple cultures: A large-scale experiment across North America, Europe, and Japan2024
Author(s)
Alan S. Cowen, Jeffrey Brooks, Gautam Prasad, Misato Tanaka, Yukiyasu Kamitani, Vladimir Kirilyuk, Krishna Somandepalli, Brendan Jou, Florian Schrof, Hartwig Adam, Disa Sauter, Xia Fang, Kunalan Manokara, Panagiotis Tzirakis, Moses Oh, Dacher Keltner
-
Journal Title
Frontiers
Volume: 15
Pages: 1350631
DOI
Peer Reviewed / Open Access / Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
