2023 Fiscal Year Research-status Report
Study on the mechanisms of #TheDress phenomenon by using DNN
| Project/Area Number |
21K19777
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
栗木 一郎 埼玉大学, 理工学研究科, 教授 (80282838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
篠崎 隆志 近畿大学, 情報学部, 准教授 (10442972)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Keywords | DNN / #TheDress / blue bias / 個人差 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
#TheDress画像は，画像に対する照明光の解釈の個人差により被写体の色の見え方に大きな個人差を生じた現象である．物体の色は，環境光（照明光）が物体表面で反射された結果，つまり反射率と照明光の積によって得られた光を見て知覚される．つまり，物体の色を見るためには，眼球に入力された光から物体の反射特性（色）の情報を分離して取得する必要があり，照明光の成分が無意識に取り除かれていることになる．写真の場合には照明光の情報を得るための手がかりが不足しており，#TheDress画像はその極端な例である．特に，ドレスの色が青／黒か白／金か，の２極化が起きた．この画像の色が青／黄方向の分布する色の画素を含んでいたことから，blue biasと呼ばれる照明光認識の偏りの個人差が影響したと考えられているが，この仮説はまだ立証されていない．blue biasは成長・発達とともに取得されるため人間で実験を行うことは難しいが，本研究では，人間と同様に高い識別能力を持つ深層学習モデル（DNN）を被験者の代わりに用いることでblue bias仮説の立証を試みた．絵画の画風を模倣する機能をもつスタイル変換というDNNモデルを用いて，入力画像を色名に変換する機能を機械学習により獲得させたあと，#TheDressを入力してドレスの色名を答えさせる実験を行った．blue biasに関する画像の割合を変えることで，人間が経験するblue biasの個人差を模倣した．その結果，blue bias比率に応じて，モデルが出力するドレスの色名が青黒から白金に変化する結果が得られた．この結果は，blue biasの個人差によって#TheDress画像の色の解釈が異なりうることを模擬できた．この成果を国内学会で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
#TheDressの色の見え方を報告させるモデルの開発の着手が遅れた問題はあったが，スタイル変換DNNを用いた深層学習モデルの学習が順調に進み，当初予定していた実験を実施することができた．先行する基礎研究がすでに報告している通り，人を被験者とした心理物理学的な実験の結果，ドレスの色の見え方は白／金と青／黒の２極端のみではなく，その間の中間的な色の見え方の個人差が連続的に分布する結果を示していた．我々の深層学習モデルも，blue biasの学習比率を連続的に変化させることにより，モデルが回答するドレスの色が青／黒と白／金の間で連続的に変化する傾向を示したことから，深層学習モデルによって#TheDress画像におけるドレスの色の見え方の個人差が生じる現象を模倣することに成功したと考えられる．
このモデルに関して国内学会での外部発表を行い，有益な助言を得ることができた．
|
| Strategy for Future Research Activity |
すでに得られている研究成果を，順次外部発表していく．投稿論文の準備を進めることと並行して，国際会議において発表を行い，研究成果の外部発信に務めていく．必要に応じて，補助的な実験を行い，研究の完成度を高めていく．
|
| Causes of Carryover |
昨年9月に行った国内学会での発表の準備段階において，モデルの機械学習の条件が不十分である事に気づき，同じことが学会でも指摘された．そのため，投稿論文を作成して外部発表を行う前に，学習条件を追加した実験を行う必要があると考え，その実行を優先したため，研究期間の延長を申請した．現在は論文投稿及び国際会議での発表準備を進めており，R6年度前半での論文投稿と国際会議での発表を予定しており，それらにかかる経費として予算を使用する計画である．
|
