深層学習と脳波から見る感性的質感生起における物質的質感の役割

公募研究

研究領域	実世界の奥深い質感情報の分析と生成
研究課題/領域番号	23H04337
研究種目	学術変革領域研究(A)
配分区分	補助金
審査区分	学術変革領域研究区分(Ⅳ)
研究機関	東京工業大学
研究代表者	永井岳大東京工業大学, 工学院, 准教授 (40549036)
研究期間 (年度)	2023-04-01 – 2025-03-31
研究課題ステータス	交付 (2024年度)
配分額 *注記	7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円) 2024年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円) 2023年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
キーワード	質感 / 感性 / 脳波 / 機械学習 / 心理物理学 / 深層学習
研究開始時の研究の概要	質感は、物体の状態に関する物質的質感と感性を反映する感性的質感に大別される。感性工学分野では、物質的質感が感性的質感の基盤になるという階層構造が仮定される場合が多い。しかし、わざわざ光沢感のような物質的質感認知を経由しなくとも、美しさのような感性的質感認知は、網膜像の特徴から直接惹起する可能性もあるかもしれない。そこで本研究では、物質的質感と感性的質感の因果関係を多角的アプローチで明らかにすることを目指す。具体的には、様々な「質感」の間の神経科学的階層性と深層学習モデルにおける質感的情報表現の階層性を検証し、ヒトにおける物質的/感性的階層性を明らかにすることを目的とする。
研究実績の概要	本研究課題の目的は、物質的な質感と感性的な質感の脳内処理における階層構造を、脳波による時間的側面と、深層学習による画像特徴の複雑さによる側面から検討することである。2023年度には、脳波に焦点を当てた研究を行い、様々な素材の物体画像に対する物質的/感性的質感判断の脳波を計測し、質感判断に有効な脳波時間帯を検討した。研究は以下の二つの点に分けて進行された。【刺激呈示時間の影響】過去の心理物理学的な研究で、呈示時間の長さが質感判断に与える影響は、物質的質感（例えば光沢感）には非常に微弱である一方で、感性的質感（例えば美しさ）にはかなり大きいことが示されている。本研究では、呈示時間を66-1000 msの範囲で変え、各呈示時間における物質的/感性的質感の判断結果をそのときの脳波から質判別した。その結果、特に呈示時間が150 ms以下の場合、感性的質感よりも物質的質感に対する判別精度が高かった。これは物質的質感が単純な画像特徴に依存して判断されていることを示唆しており、従来の心理物理実験の結果と一致している。【被験者の態度の影響】質感認知に要する時間も、物質的/感性的質感で異なる可能性がある。例えば、もし物質的質感の認知判断に関わる処理が感性的質感よりも前に位置しその処理も単純であるなら、被験者が一瞬で質感を判断する態度を持つ場合、物質的質感の判断は容易であるが、感性的質感の判断は困難になる可能性がある。そこで、刺激呈示時間の短長比をセッションごとに変えることで、被験者の態度を強制的に操作し、脳波による質感判断の判別への影響を調べた。2023年度では予備実験のみを行い、被験者が短時間で質感判断する態度を持つと、感性的質感の判別精度が低下する可能性が見出された。これらの結果から、質感判断の脳内処理に関する洞察が得られ、質感認知のダイナミクスに関する理解が深まった。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由脳波による質感判断を判別する実験系を構築するとともに、目標に掲げた脳波による質感判断の時間特性の検証の準備が十分に整った。これらの状況から、進捗は順調であると判断した。
今後の研究の推進方策	2024年度には、質感判断における時間的態度の影響をさらに探求する。具体的には、刺激呈示時間をセッションごとに短長（100msと1000ms）比率を変更し、被験者の質感判断の態度を強制的に操作する。この操作によって、脳波からの質感判断の判別精度にどのような影響が現れるかを調査する。特に、100 msの刺激呈示が多いセッションでは、被験者は迅速な判断を強いられ、このセッションの脳波データから質感判断を行う際の精度は、情報処理が遅い（より多くの情報処理が必要な）質感に対しては低下する一方で、情報処理が迅速な質感に対しては影響が軽微であると予想される。もし感性的質感が物質的質感を経由して処理されるならば、この実験において、短/長の呈示時間比率の影響が感性的質感に対してより顕著に現れることが期待される。これは、質感認知の階層構造や脳内処理の時間特性の違いを明らかにし、質感認知処理の順序に関する新たな洞察を提供するものである。同時に、質感認知に関わる画像特徴の複雑さを、深層学習モデルを援用することで検証する。ここでは、教師なしの畳み込みニューラルネットワーク（CNN）などの構造（例えば、変分オートエンコーダVAE）を利用し、モデルにおける異なる深さの層が物質的および感性的質感の認知特性とどのように関連するかを分析する。ここでは、認知までの処理が複雑な質感であるほど、モデルの深い層で表現される情報と関わりが深いという関連性があるかを検証する。最終的には、脳波により検証されたダイナミクスと質感認知に変わる画像特徴の複雑さを合わせて考察することにより、質感認知の処理過程における情報の流れと表現の仕方について解明を進める。