Study on the mechanisms of #TheDress phenomenon by using DNN

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K19777
• Research Institution: Saitama University
• Principal Investigator: 栗木 一郎 埼玉大学, 理工学研究科, 教授 (80282838)
• Co-Investigator(Kenkyū-buntansha): 篠崎 隆志 国立研究開発法人情報通信研究機構, 未来ICT研究所脳情報通信融合研究センター, 主任研究員 (10442972)
• Project Period (FY): 2021-07-09 – 2024-03-31
• Keywords: 深層学習 / DNN / 色知覚メカニズム / 脳内情報処理 / GAN / 錯視 / 色恒常性 / 蛇の回転

Outline of Annual Research Achievements

本研究は，人間の視覚系を模倣した大規模な計算モデルである深層ニューラルネットワーク（Deep Neural Network: DNN）を用いて人間の視覚系と同様の情報処理を学習させたときに，DNNが人間の視覚と同じように錯視（形，色，動きなどが本来とは違う現象）を生じるかを確認することで，DNNが人間の視覚系を研究する上での計算機モデルとして適切であるかを評価することを目的とする．
R3年度の研究では，まず深層ニューラルネットワーク(DNN)を用いた視覚研究を実施するためのシステムを構築した．具体的には，高速な繰り返し計算に用いる画像処理装置（GPU）を搭載したコンピュータを調達し，その中に DNN を実装するためのシステムを導入した．手始めに，実験を担当する学生の卒業研究として視覚研究に基づいて構成された動画処理用の DNN である PredNet を用いた錯視画像（「蛇の回転」）の情報処理に関する研究を行なった．この DNN を用いた研究では，先行研究（Watanabe et al., 2018）において用いられたものと同じ Chainer を用いて実装した深層学習プログラムを用い，学習させる動画像セットに工夫を施して学習効率の変化を調べることにより，学習されている画像特徴の推定を試みた．この研究は学部４年の卒業研究として実施され，学生は卒業論文を提出して卒業し，大学院へ進学した．この知見は視覚メカニズムを研究するための計算モデルとして深層学習を評価する上で重要であり，R4年度に国内の学会にて成果発表を行う予定である．この研究を今後も発展させつつ，本題である#TheDress画像の問題を対象とした DNN の研究を推進していく．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

「蛇の回転」錯視に関する研究から実施し，#TheDress画像に代表される色恒常性に関わる研究に推移する予定だったが，その着手が少し遅れた．具体的には，学習画像セットの評価システムの構築が遅れており，今年度にそれを開始し，DNNに学習させるためのデータセットの構築を最優先に研究を進める．同時に，#TheDress画像の処理に関連する DNN システムの構築を開始する．

Strategy for Future Research Activity

学習画像セットの色の見え方を評価するシステムの構築を実施し，実験参加者に色の見え方を評価してもらう作業を依頼して DNN に学習させるためのデータセットの構築を進める．具体的には，物体ごとに領域分けされた自然画像を用意し，各領域に対して色の名前を指定させる作業を遠隔システム上で実施する方法により，学習データセットを 1000 画像程度用意する．この学習画像の収集と評価に関しては，研究代表者と研究協力者の大学院生１名が中心になって準備を進め，実験参加者に依頼して実施する．
これらデータセットの構築に並行して，物体ごとの色の判別を行う DNN システムの構築を開始する．初年度に用いた PredNet は国産の DNN フレームワークである Chainer 上に構築されたものを用いたが，色判別のシステムについては基礎研究分野で最も用いられているフレームワークである PyTorch 上に改めて構築する．より具体的には Semantic Segmentation を行う DNN において，通常は物体の種類をラベルとして用いるところを，色の種類をラベルとして再学習させることによって，色判別の実現を目指す．
学習データと DNN の準備ができた段階で試行実験を開始し，機械学習が収束するのに必要な学習パラメータなどの最適化を行う．
また，R3年度に実施した「蛇の回転」錯視に関する DNN の研究についてもさらに発展させ，一部は国内の学会で成果報告を行う．そこでの意見交換の結果を反映して改善を進め，国際会議・論文投稿などさらに上のレベルの成果報告を目指していく．

Causes of Carryover

機械学習に用いる画像セットに色名のタグをつける作業を行うことが，学生および研究代表者の技術的問題から困難だったため，この作業を令和４年度に実施する事にして，先に機械学習システムの構築を優先した．その結果，画像セットの色名タグ付作業に必要な計算機の導入費用および参加者の謝金に相当する金額が次年度使用額として発生した．画像セットの色名タグ付作業および計算機システムの構築は，令和４年度に優先して実施する．