2023 Fiscal Year Annual Research Report
深層学習と脳波から見る感性的質感生起における物質的質感の役割
Publicly Offered Research
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
23H04337
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
永井 岳大 東京工業大学, 工学院, 准教授 (40549036)
|
|---|
| Project Period (FY) |
2023-04-01 – 2025-03-31
|
| Keywords | 質感 / 脳波 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は、物質的な質感と感性的な質感の脳内処理における階層構造を、脳波による時間的側面と、深層学習による画像特徴の複雑さによる側面から検討することである。2023年度には、脳波に焦点を当てた研究を行い、様々な素材の物体画像に対する物質的/感性的質感判断の脳波を計測し、質感判断に有効な脳波時間帯を検討した。研究は以下の二つの点に分けて進行された。
【刺激呈示時間の影響】過去の心理物理学的な研究で、呈示時間の長さが質感判断に与える影響は、物質的質感（例えば光沢感）には非常に微弱である一方で、感性的質感（例えば美しさ）にはかなり大きいことが示されている。本研究では、呈示時間を66-1000 msの範囲で変え、各呈示時間における物質的/感性的質感の判断結果をそのときの脳波から質判別した。その結果、特に呈示時間が150 ms以下の場合、感性的質感よりも物質的質感に対する判別精度が高かった。これは物質的質感が単純な画像特徴に依存して判断されていることを示唆しており、従来の心理物理実験の結果と一致している。
【被験者の態度の影響】質感認知に要する時間も、物質的/感性的質感で異なる可能性がある。例えば、もし物質的質感の認知判断に関わる処理が感性的質感よりも前に位置しその処理も単純であるなら、被験者が一瞬で質感を判断する態度を持つ場合、物質的質感の判断は容易であるが、感性的質感の判断は困難になる可能性がある。そこで、刺激呈示時間の短長比をセッションごとに変えることで、被験者の態度を強制的に操作し、脳波による質感判断の判別への影響を調べた。2023年度では予備実験のみを行い、被験者が短時間で質感判断する態度を持つと、感性的質感の判別精度が低下する可能性が見出された。
これらの結果から、質感判断の脳内処理に関する洞察が得られ、質感認知のダイナミクスに関する理解が深まった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
脳波による質感判断を判別する実験系を構築するとともに、目標に掲げた脳波による質感判断の時間特性の検証の準備が十分に整った。これらの状況から、進捗は順調であると判断した。
|
| Strategy for Future Research Activity |
2024年度には、質感判断における時間的態度の影響をさらに探求する。具体的には、刺激呈示時間をセッションごとに短長（100msと1000ms）比率を変更し、被験者の質感判断の態度を強制的に操作する。この操作によって、脳波からの質感判断の判別精度にどのような影響が現れるかを調査する。特に、100 msの刺激呈示が多いセッションでは、被験者は迅速な判断を強いられ、このセッションの脳波データから質感判断を行う際の精度は、情報処理が遅い（より多くの情報処理が必要な）質感に対しては低下する一方で、情報処理が迅速な質感に対しては影響が軽微であると予想される。もし感性的質感が物質的質感を経由して処理されるならば、この実験において、短/長の呈示時間比率の影響が感性的質感に対してより顕著に現れることが期待される。これは、質感認知の階層構造や脳内処理の時間特性の違いを明らかにし、質感認知処理の順序に関する新たな洞察を提供するものである。
同時に、質感認知に関わる画像特徴の複雑さを、深層学習モデルを援用することで検証する。ここでは、教師なしの畳み込みニューラルネットワーク（CNN）などの構造（例えば、変分オートエンコーダVAE）を利用し、モデルにおける異なる深さの層が物質的および感性的質感の認知特性とどのように関連するかを分析する。ここでは、認知までの処理が複雑な質感であるほど、モデルの深い層で表現される情報と関わりが深いという関連性があるかを検証する。最終的には、脳波により検証されたダイナミクスと質感認知に変わる画像特徴の複雑さを合わせて考察することにより、質感認知の処理過程における情報の流れと表現の仕方について解明を進める。
|
