2023 Fiscal Year Annual Research Report
Correspondence between qualia structures and information structures
| Project Area | Qualia Structure: Bridging a gap between subjective conscious experience and scientific objectivity by establishing a super interdisciplinary research program |
|---|
| Project/Area Number |
23H04834
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
大泉 匡史 東京大学, 大学院総合文化研究科, 准教授 (30715371)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
堀井 隆斗 大阪大学, 大学院基礎工学研究科, 講師 (60809333)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 意識 / クオリア / クオリア構造 / 教師なしアラインメント / 最適輸送 / Gromov-Wasserstein距離 / 感情 |
|---|
| Outline of Annual Research Achievements |
大泉はA01班の土谷らが記録した色の類似度判定から推定される色クオリア構造の解析を行った．異なる被験者間で，クオリア構造が同等の構造を持っているかどうかを調べるために，Gromov-Wasserstein最適輸送を用いた教師なしアライメントの方法を提案した(Kawakita et al., 2023, psyArxiv)．その結果，定型色覚の被験者グループの間で構造が揃うこと，定型色覚と非定型色覚では構造が揃わないことなどを示した．また，同様の方法を大規模言語モデルに適用し，モデルの色類似度構造が人間の色類似度構造に揃うことも示した(Kawakita et al., 2023, arXiv)．さらに，同様の方法論を異なるマウスの神経活動同士の比較や，異なるモデル間の比較として適用し，pythonのツールボックスとして公開した(Sasaki et al., 2023, bioRxiv)．
分担者の堀井は感情クオリア構造に対応する情報構造を表現学習可能な深層学習モデルやその学習メカニズムに関する検証を行った．Transformerを画像入力に拡張したVision Transformerにおいて，人の感情表出画像の表現学習の際に人の身体反応（内受容感覚）を模した情報と，言語情報を対照学習の基準情報として利用することで，それぞれの情報が表現学習に与える影響を調査した．その結果，人の身体反応を模した情報を対照学習に利用した条件において，感情の表現方法として広く知られているRussellの円環モデルに類似した情報構造が獲得されることを示した．また人の乳幼児が次第に言語を学習するように，対照学習に利用する基準情報の割合を，身体反応を模したものから言語情報に次第に変更することで，より円環モデルに類似した情報構造が獲得されることを示した（野村&堀井，2023，RSJ2023）．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
Gromov-Wasserstein最適輸送を用いて，クオリア構造や神経活動の情報構造を比較する方法論を提案し，様々なデータに適用することで，その有用性を示すことができたから．また，人の感情クオリア構造に対応する情報構造の学習メカニズムについて様々な検証を進めることが出来たから．
|
| Strategy for Future Research Activity |
研究代表者の大泉は，昨年度に引き続きA01班の土谷らが記録した色の類似度判定から推定される色クオリア構造の解析を行う．特に，定型と非定型の色覚をもった被験者のクオリア構造に対して，より詳細な共通性や違いを明らかにするために，Unbalanced Gromov-Wasserstein Optimal Transportと呼ばれる手法を用いる．さらに色だけでなく，一般のオブジェクトの画像のクオリア構造の解析も行う．これは，THINGSやImagenet-HSJと
呼ばれる公開データセットを用いて行う．心理物理実験の解析に加えて，対応する脳活動データの解析を行い，クオリア構造と脳活動の情報構造との対応関係を調べる．実際の脳活動データだけではなく，深層学習モデルを用いることで，モデルと人間の行動との対応関係も調べ，人間のクオリア構造がどのようなメカニズムで学習されるのかを調べる．
分担研究者の堀井は昨年度の成果に基づき，大規模言語モデルの基盤技術であるTransformerをマルチモーダル化した深層学習モデルに対照学習を適応することで，人の感情クオリア構造に類似した埋め込み表現の獲得における，視聴覚などの外受容感覚情報と言語などの記号情報の影響を検討する．また，摂食実験を通じた内受容感覚情報の収集について本実験を開始すると共に，その利用方法やデータ解析手法について検討を進める．
|
