2022 Fiscal Year Annual Research Report
深層学習による視覚的感性数値化のための感性データ拡張手法
| Project/Area Number |
20K12038
|
|---|
| Research Institution | Chukyo University |
|---|
Principal Investigator |
道満 恵介 中京大学, 工学部, 准教授 (90645748)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井手 一郎 名古屋大学, 数理・データ科学教育研究センター, 教授 (10332157)
目加田 慶人 中京大学, 工学部, 教授 (00282377)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 視覚的感性 / 魅力度 / 深層学習 / データ拡張 / 料理写真 |
|---|
| Outline of Annual Research Achievements |
初年度は，人が料理写真を見た際の視覚的感性（魅力度）を高精度に数値化する機械学習手法を目指し，画像とその魅力度評価値をペアで生成するためのデータ拡張手法を検討した．これまで研究してきた魅力度付き料理画像データの拡張手法を，同じくこれまで研究してきた視線情報を利用した画像特徴抽出手法に適用し，定量評価した．その結果，魅力度推定精度が向上し，有効性が確認されるとともに，本研究課題で検討した魅力度が変わらない範囲でデータ拡張するアプローチが，視線停留分布に着目した画像特徴抽出手法においても有効であることが示唆された．研究テーマとしては関連するもののこれまで独立して研究を進めてきた2つの研究成果を併せてより統括的な評価を実施したという点で意義深いものであった．
2年目は，初年度に得られた達成事項１に関する知見を活用して，深層学習モデルの枠組みの一つであるマルチタスク学習の導入を検討した．加えて，これまで利用してきた，小規模ながら評価値の信頼性が高いデータセットのみならず，評価値の信頼性が多少劣るものの大規模なデータセットを構築し，それぞれで深層学習モデルの学習・評価を行った．さらに，前者のデータセットでモデルの事前学習をしてから後者のデータセットで追加学習するという転移学習も検討した．それらを実験により評価し，料理写真の魅力度推定というタスクにおける本手法の有効性を確認した．
最終年度は，料理写真以外の対象への応用可能性を探るべく，料理写真を含む料理レシピの魅力度を分析し，推定する手法を検討した．料理の種類や特徴を表現するレシピタイトルが料理レシピの魅力度を大きく左右することに注目し，レシピタイトルと料理レシピに対する注目度の関係を分析した．これらの知見は料理レシピの魅力度評価手法の開発に有用であり，本研究課題において開発した深層学習モデルの応用先を広げる意義深いものであるといえる．
|
