Publicly Offered Research
Grant-in-Aid for Transformative Research Areas (A)
視覚質感の長期記憶は画像の知覚的・感性的質感情報に還元できないことがわかっている。また、質感の長期記憶にはバイアスがある。画像を媒介としたコミュニケーションの有効化には視覚質感の記憶容易性とバイアスの関連を定量的に解明することが不可欠である。本研究は、視覚質感のスタイルに焦点を絞り、記憶に残りやすく、かつバイアスの少ない質感表現の特性を明らかにすることを目指す。AIを用いた画像変換と記憶容易性の推定、行動実験による長期記憶の定量的測定、眼球運動データの解析を組み合わせることで、記憶容易性とバイアス、及びその相互作用の規定因を明らかにする。
令和5年度は、以下の3つの研究を実施した。①スタイル変換画像の長期記憶におけるバイアスと記憶容易性の関係：スタイル変換画像の長期記憶に関する実験データを用い、実験で用いた各画像に関して記憶バイアスの大きさと記憶容易性の関係を定量的に調べた。この実験では、72枚の異なる風景写真ををカンディンスキー、ブラック、レンブラント、モネの4枚の絵画風にスタイル変換したのち、スタイル間をモーフィングして72種類のスタイル画像を作成した。長期記憶実験の結果、プロトタイプ画像の方が混合画像よりも報告されやすいバイアスが示された。実験画像の記憶容易性をDNNモデルによって推定し、行動実験結果との関連を定量的に検討した結果、記憶容易性の高い画像と低い画像に対するバイアスが観察された。②オンライン実験によるスタイル変換画像の記憶容易性の測定：DNNモデルは人間の記憶容易性を精度よく推定できることが知られているが、本研究で用いるスタイル変換画像でも成り立つかどうかは確認されていない。そこで、オンライン事件を用い1200名以上の協力者のデータを用いてスタイル変換画像の記憶容易性を測定した結果、先行研究同様に行動実験とモデルで高い一致率が得られた。③質感記憶バイアスとスタイルの記憶容易性の関係の定量的検討：①の実験では、2枚のプロトタイプ画像を円環状に合成したため、特定のプロトタイプの組み合わせによるアーチファクトを含む可能性があった。このため、最新のスタイル変換アルゴリズムを用いてより柔軟な合成画像セットを作成して、画像長期記憶におけるバイアスの一般性を確認するための実験を実施した。以前の実験と同様に記憶容易性の高い画像（カンディンスキー）、低い画像（レンブラント）に対するバイアスの傾向が観測されたが、両者のバイアスには特徴の違いも見られ、現在そのメカニズムについてさらに検討を進めている。
2: Research has progressed on the whole more than it was originally planned.
当初の研究計画では、長期記憶実験で用いる画像の記憶容易性については、先行研究で人間の記憶容易性を精度よく推定できるディープニューラルネットワーク（DNN）モデルによる推定値を用いて議論を進める予定であったが、領域班会議で人間の記憶容易性を測定しその制度を評価した方が良いという指摘を受け、オンライン実験を追加して、その作業を行った。その結果、今回用いているようなスタイル変換画像に対してもDNNモデルは記憶容易性を精度よく推定できることを確かめることができた。さらに、ヒトの行動実験を行ったことにより、記憶容易性の評価指標（ヒット率とフォルスアラーム率）によってモデルと行動データとの相関関係が若干異なることも明らかになった。これらの知見は、今後、記憶容易性と記憶バイアスの関係を検討するうえで重要なものである。
今後は、以下の3つの方向で研究を推進する。①研究成果の英文論文化：令和5年度に実施した長期記憶バイアスの実験に関して、記憶バイアスに関する知見に焦点を当てて、英文論文として取りまとめ、投稿する。記憶バイアスに関しては、実験結果だけでなく、結果を説明するための計算モデル分析も行っているため、これらも論文の中に組み込んでいく。②より一般性の高いパラダイムを用いた実験データの追加解析と論文化：令和5年度に③の研究として実施した長期記憶バイアスの実験はまだ計画したサンプルサイズのデータが取得できていないため、データ収集を完了して、結果の詳細な分析を行う。また、オンライン実験を用いた記憶容易性の測定、DNNモデルを用いた記憶容易性の推定値を用いて記憶容易性と長期記憶バイアスとの関係性に関するより詳細で体系的な分析を進める。これらの結果を取りまとめ、記憶容易性と長期記憶バイアスの関係を主題とした英文論文を作成し、令和６年度中に投稿する。③眼球運動データの分析：現在継続中の実験では、眼球運動測定も行っている。これまでは眼球運動データの解析は行っていなかったが、今後、行動データと眼球運動データの関連を詳細にわたって解析し、記憶バイアスの生起メカニズムに関する手がかりを得る。様々な画像に対する記銘時、想起時の眼球運動を体系的に比較検討することにより、記憶容易性がどのようなメカニズムで記憶バイアスを生起させているのかを明らかにできる可能性がある。このテーマについては、まだ具体的な仮説はなく、探索的な段階であるため、今後も継続する課題として今回のデータから具体的な仮説を生成することを目標とする。
All 2024 2023 Other
All Journal Article (3 results) (of which Peer Reviewed: 2 results) Presentation (5 results) Remarks (1 results)
Attention, Perception, & Psychophysics
Volume: in press Issue: 4 Pages: 1287-1302
10.3758/s13414-024-02881-y
Journal of Experimental Psychology: Learning, Memory, and Cognition
Volume: NA Issue: 6 Pages: 889-901
10.1037/xlm0001275
OSF:Preprint
Volume: Preprint
10.31219/osf.io/vkctj
http://www.cv.jinkan.kyoto-u.ac.jp/site/
