2021 Fiscal Year Research-status Report
人間の視覚特性に基づく人物印象属性の自動推定に関する研究
| Project/Area Number |
20K11864
|
|---|
| Research Institution | Tottori University |
|---|
Principal Investigator |
西山 正志 鳥取大学, 工学研究科, 准教授 (20756449)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 人物 / 印象 / 視覚特性 / 計測 / 学習モデル |
|---|
| Outline of Annual Research Achievements |
美しい，上品である，清潔感があるなど，人物画像の見た目から感じる印象について，人間の様に画像を見て感じる深層学習モデルを新たに開発する．既存の学習モデルでは，人物画像と印象単語のペアを訓練サンプルとするデータドリブンの手法を適用することが一般的であり，システムが人間と同じ様に見て感じているとは言えなかった．本研究の目的は，人物印象の自動推定を対象とし，人間が情報システムへ教師ラベルを与える作業を通して，人間の視覚特性を計測し，その特性をアルゴリズムに組み込む方法を構築していくことにある．まず，人物印象に対する視覚特性を，ラベル付け作業時に高精細で計測する方法を探っていく．次に，深層学習のアテンション機構を発展させ，印象に対する視覚特性を組み込んだネットワークモデルを設計していく．
本年度は，人物画像の印象を人間が見分ける時の視覚特性を計測し，その視覚特性を確率分布で表現する手法を構築した．刺激画像中の人物姿勢の自由度を高めるために，画像から身体部位を検出することで，視線が集まる領域の位置合わせを行った．具体的な身体部位として，顔領域の中心である鼻，胴体領域の左肩と右肩と腰，末端領域の腕と足を取り扱った．視線計測を行う際，実験協力者に印象を判断させる指示を与えた上で，人物画像を一枚ずつ表示し，その印象に当てはまるかどうかを回答させた．顔について明示的に聞かれなくとも，実験協力者は顔へ視線を配ることが分かった．また，フォーマルなシーンにおける印象単語の間で，身体部位に対する視線の空間的な配り方に差異があることが，条件付き確率の分布間の距離から分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，前年度に引き続き，計画通りに研究課題へ取り組むことができた．研究成果の進捗について論文誌2件と国際学会1件と国内学会3件で発表し，本課題の着眼点，および，主観評価による実験結果について高評価を得た．また，HCGシンポジウム2021にて最優秀インタラクティブ発表賞を受賞することができた．人物画像の印象を人間が見分ける時の視覚特性を計測し，その視覚特性を確率分布で表現することを本年度の研究開発では重視した．被写体の姿勢変化に対応するため身体部位を考慮し，フォーマルな場に合った印象単語を用いて主観評価を行った．現時点では，当初計画した成果が見込まれる実験結果を得ている．最終年度である次年度では，視覚特性に基づくフィードバックを用いて人物印象属性を判別するモデルを学習する独自改良を加えていき，検証をさらに深められる方向性が，本年度の実験結果より明らかになった．
|
| Strategy for Future Research Activity |
本年度に構築した視覚特性を確率分布で表現する手法を用いて，その視覚特性に基づくフィードバックを用いて人物印象属性を判別する方法について，次年度でその学習モデルを設計していく．このために，最終年度である次年度の実験では，深層学習のアテンション機構を発展させ，印象に対する視覚特性を組み込んだ学習モデルを構築していく．さらに次年度では，本モデルを学習するために，教師ラベル付与時に人間が感じた印象とモデル出力の相違を，視覚特性に基づきながら損失関数の中で考慮していく予定である．これにより属性認識の精度を高めることができるかどうかを評価していく．学習されたモデルのアテンション機構を可視化することで，人間の視覚特性に近づける本研究の考え方が有効であるかどうかを，推定精度と照らし合わせ考察していく予定である．なお，既に得ている研究成果については早急に論文化を進めていく．
|
