Study on the mechanisms of #TheDress phenomenon by using DNN
| Project/Area Number |
21K19777
|
|---|
| Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
栗木 一郎 埼玉大学, 理工学研究科, 教授 (80282838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
篠崎 隆志 近畿大学, 情報学部, 准教授 (10442972)
|
|---|
| Project Period (FY) |
2021-07-09 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
|---|
| Keywords | DNN / #TheDress / blue bias / 個人差 / 深層学習 / 色恒常性 / 色知覚メカニズム / 脳内情報処理 / GAN / 錯視 / 蛇の回転 |
|---|
| Outline of Research at the Start |
本研究では，機械学習を用いて色知覚の情報処理を研究する．色覚は視覚の中で最も基本的な情報の1つである．特に物体の色を安定して知覚する色恒常性は重要な機能だが，アルゴリズムが完全には解明されていない．本研究ではヒトでは不可能な研究手法をDNNに施すことで，ヒト脳内での色情報処理を解明する．具体的には極端に偏った画像セットで学習させたDNNと通常のものを比較したり，学習後のDNN内のユニットを破壊して，経験によって得られる高次の情報がどのようにフィードバックされるかを明らかにする．将来的には，他の視覚情報処理に適用範囲を広げ，DNN を用いたヒトの視覚情報処理メカニズムの研究という手法を確立する.
|
| Outline of Annual Research Achievements |
#TheDress画像は，画像に対する照明光の解釈の個人差により被写体の色の見え方に大きな個人差を生じた現象である．物体の色は，環境光（照明光）が物体表面で反射された結果，つまり反射率と照明光の積によって得られた光を見て知覚される．つまり，物体の色を見るためには，眼球に入力された光から物体の反射特性（色）の情報を分離して取得する必要があり，照明光の成分が無意識に取り除かれていることになる．写真の場合には照明光の情報を得るための手がかりが不足しており，#TheDress画像はその極端な例である．特に，ドレスの色が青／黒か白／金か，の２極化が起きた．この画像の色が青／黄方向の分布する色の画素を含んでいたことから，blue biasと呼ばれる照明光認識の偏りの個人差が影響したと考えられているが，この仮説はまだ立証されていない．blue biasは成長・発達とともに取得されるため人間で実験を行うことは難しいが，本研究では，人間と同様に高い識別能力を持つ深層学習モデル（DNN）を被験者の代わりに用いることでblue bias仮説の立証を試みた．絵画の画風を模倣する機能をもつスタイル変換というDNNモデルを用いて，入力画像を色名に変換する機能を機械学習により獲得させたあと，#TheDressを入力してドレスの色名を答えさせる実験を行った．blue biasに関する画像の割合を変えることで，人間が経験するblue biasの個人差を模倣した．その結果，blue bias比率に応じて，モデルが出力するドレスの色名が青黒から白金に変化する結果が得られた．この結果は，blue biasの個人差によって#TheDress画像の色の解釈が異なりうることを模擬できた．この成果を国内学会で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
#TheDressの色の見え方を報告させるモデルの開発の着手が遅れた問題はあったが，スタイル変換DNNを用いた深層学習モデルの学習が順調に進み，当初予定していた実験を実施することができた．先行する基礎研究がすでに報告している通り，人を被験者とした心理物理学的な実験の結果，ドレスの色の見え方は白／金と青／黒の２極端のみではなく，その間の中間的な色の見え方の個人差が連続的に分布する結果を示していた．我々の深層学習モデルも，blue biasの学習比率を連続的に変化させることにより，モデルが回答するドレスの色が青／黒と白／金の間で連続的に変化する傾向を示したことから，深層学習モデルによって#TheDress画像におけるドレスの色の見え方の個人差が生じる現象を模倣することに成功したと考えられる．
このモデルに関して国内学会での外部発表を行い，有益な助言を得ることができた．
|
| Strategy for Future Research Activity |
すでに得られている研究成果を，順次外部発表していく．投稿論文の準備を進めることと並行して，国際会議において発表を行い，研究成果の外部発信に務めていく．必要に応じて，補助的な実験を行い，研究の完成度を高めていく．
|
Report
(3 results)
Research Products
(6 results)
