| Project/Area Number |
23K16985
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61060:Kansei informatics-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
清川 宏暁 埼玉大学, 理工学研究科, 助教 (10951808)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2025: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 感情情報処理 / 視覚情報処理 / 質感知覚 / 深層学習 / スタイル変換 / 感性情報学 / 心理物理学 / ニューラルネットワーク / 画像処理 |
|---|
| Outline of Research at the Start |
我々は光沢感や透明感といった物体の材質に関わる“物性的質感”や美しさや好ましさといった感性的な価値判断に関連する“感性的質感”も知覚する．本研究では，心理物理学的手法と情報工学的手法により，それらの質感知覚を支える視覚情報処理構造とその形成メカニズムの解明を目指す．具体的には，物性的質感と感性的質感の間の階層的情報処理構造の有無を，AI画像編集技術を使った画像データセットを用いて明らかにする．さらに，視覚情報を言語表現と対応づけるマルチモーダルAIと，ヒトの質感応答特性の相違点を解明することで，言語によってとらえることのできる感性的質感の成り立ちを明らかにする．
|
| Outline of Annual Research Achievements |
該当年度は，物性的質感が物体カテゴリ分類に寄与しているのかについて，物体認識を学習した深層学習モデルの内部に光沢感という物性的質感の知覚に寄与する画像特徴が獲得されているのか，という視点から検討した．また，それらの画像特徴がモデル内のどのレベルの階層で表現されているのかを検討した．実験では，モデルの各階層で表現される画像特徴を画像間で転写する技術であるスタイル変換を用いて，光沢物体画像の特徴を光沢のない物体に転写した．この際，モデル内に５段階ある階層のうち，1つの階層の画像特徴のみを除外してスタイル変換を行う除外条件と，1つの階層の特徴のみを利用してそれ以外を排除する保存条件でスタイル変換を適用した．これにより得られたスタイル変換画像の光沢感をヒト観察者に評定させた．その結果，除外条件では第２層の特徴を除外した場合に有意な光沢感の低下が生じた．また，保存条件では第2, 3, 4層の特徴をそれぞれ保存した際に，光沢感が有意にそれ以外の条件よりも増加した．これらの結果は中間レベルの層で光沢感に関連する画像特徴が表現されていることを示唆している．
また，光沢感と半透明感という異なる質感の知覚には相互作用があることが知られているが，視覚系の情報処理のどのレベルで相互作用が発生しているのかは未解明であった．この問題に対処するため，低レベルの特徴と高レベルの特徴への順応実験を行い，順応効果の転移を検討した．実験では，光沢感の知覚と関連する輝度ヒストグラムの統計量に対する順応(低レベル順応条件)と光沢感や半透明感を持つ物体画像(高レベル順応条件)に対する順応実験を行った．その結果，高レベル順応条件でのみ順応効果の転移が確認できた．これらの結果は，相互作用は高レベルの情報処理過程で発生していることを示唆している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
光沢感という物性的質感知覚のための画像特徴をスタイル変換する枠組みを実装し，物体認識を学習した深層学習モデル内部で光沢感の知覚に寄与する表現が存在することを示唆する結果を得たため．
|
| Strategy for Future Research Activity |
物性的質感のみならず，感情的質感についても同様の枠組みで実験を進める．
|
