Study on the mechanisms of #TheDress phenomenon by using DNN
Project/Area Number |
21K19777
|
Research Category |
Grant-in-Aid for Challenging Research (Exploratory)
|
Allocation Type | Multi-year Fund |
Review Section |
Medium-sized Section 61:Human informatics and related fields
|
Research Institution | Saitama University |
Principal Investigator |
栗木 一郎 埼玉大学, 理工学研究科, 教授 (80282838)
|
Co-Investigator(Kenkyū-buntansha) |
篠崎 隆志 近畿大学, 情報学部, 准教授 (10442972)
|
Project Period (FY) |
2021-07-09 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2021: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
|
Keywords | #TheDress / 深層学習 / DNN / 色恒常性 / blue bias / 色知覚メカニズム / 脳内情報処理 / GAN / 錯視 / 蛇の回転 |
Outline of Research at the Start |
本研究では,機械学習を用いて色知覚の情報処理を研究する.色覚は視覚の中で最も基本的な情報の1つである.特に物体の色を安定して知覚する色恒常性は重要な機能だが,アルゴリズムが完全には解明されていない.本研究ではヒトでは不可能な研究手法をDNNに施すことで,ヒト脳内での色情報処理を解明する.具体的には極端に偏った画像セットで学習させたDNNと通常のものを比較したり,学習後のDNN内のユニットを破壊して,経験によって得られる高次の情報がどのようにフィードバックされるかを明らかにする.将来的には,他の視覚情報処理に適用範囲を広げ,DNN を用いたヒトの視覚情報処理メカニズムの研究という手法を確立する.
|
Outline of Annual Research Achievements |
機械学習に必要なラベル画像を作成するためのプログラムを作成し,また機械学習で色恒常性を実装する試みを行なった.前者については,#TheDress画像に対する多様な色の見え方が大別して白/金と青/黒に分かれた原因として,太陽光下における白色の物体の見え方が2通りありうることが指摘されており,それを画像として模擬したラベル画像を作成するプログラムを作成した.晴天下では直射日光の下と日陰とで物体を照明する光の色が異なり,日陰の白い物体は青空の光を反射して青みを帯びているにもかかわらず白と判断されるblue biasという特徴がある.このblue biasの傾向が強い場合と弱い場合の色に関する判断を模擬するため,blue bias の有り/無しの2通りの学習データを用いた機械学習を行い,DNNモデルを作成する方法でメカニズムの研究を行う. その2通りの学習モデルを作成する際に,機械学習で用いる2種類(blue bias 有り/無し)のラベル画像を作成するアルゴリズムを開発した.このアルゴリズムは研究代表者が指導する学生の卒業研究論文として発表した.一方で,#TheDressの現象は照明光が変わった時の色の見え方(色恒常性)について生じるため,色恒常性を実装する計算モデル(DNNモデル)が必要となる.画像のスタイル変換に用いられるDNNモデルを用いて色恒常性を実装する計算モデルを作成し,日本視覚学会の冬季大会で発表した.この研究は研究分担者が主に指導する学生の卒業研究として実施された.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
blue biasの有無を学習するためのラベル画像を大量に生成するアルゴリズムの開発に成功し,このアルゴリズムを用いると深層学習に用いる大量の学習画像を自動生成することができる.この学習画像の生成プロセスは人海戦術で人手によって行われることが多いが,最初に大量の画像をアルゴリズムにより生成し,その画像の中から不適切なものを人手で除外する方法の方が圧倒的に効率が良い.一方で,深層学習モデルによる色恒常性を実装したモデルの開発にも成功している.この2つを組み合わせることにより,当初予定していた #TheDress 現象を再現する深層学習モデルを実現することができると考えられる.
|
Strategy for Future Research Activity |
blue bias の有無を反映した2種類のラベル画像を大量に作成し,それらを複数の実験参加者により主観的に評価して問題のある画像を除外する必要がある.ラベル画像については,まずこの評価プロセスを先に実施する.一方の深層学習モデルについては,一様な物体の出力画像にウロコ状のテクスチャが付与されてしまう問題が起きているため,この問題を回避する方法を模索する.これらの作業を並列して行いつつ,blue bias の有無を反映した2通りの学習画像群を用いて機械学習を行い,#TheDress現象を再現する深層学習モデルを作成する.完成したモデルの内部パラメータを解析し,自然画像から照明光の情報をどのように抽出し色の見え方に反映しているかを解析し,#TheDress現象を生じさせた脳内の機序について検討をすすめる.
|
Report
(2 results)
Research Products
(3 results)