深層学習に基づく写真の審美的品質評価に関する暗黙知の表出化
Project/Area Number |
21K11940
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 61010:Perceptual information processing-related
|
Research Institution | Okayama Prefectural University |
Principal Investigator |
滝本 裕則 岡山県立大学, 情報工学部, 准教授 (10413874)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
Keywords | 写真の審美性 / Explainable AI / 深層学習 / 審美性 |
Outline of Research at the Start |
写真の審美的品質とは、人の美的感覚によって評価される品質である。本申請課題では、データ駆動型アプローチにより人の審美性認識機構に迫る。まず、異なる概念のAttentionを導入した深層学習モデルにより写真の審美的品質推定の高精度化を実現する。そして、Explainable AI技術と画像処理技術により“写真の加工によって審美度がどのように変化するか”を分析する仮説検証型のアプローチにより、審美的品質評価に寄与する視覚特徴の解析、すなわち暗黙知表出化に取り組む。
|
Outline of Annual Research Achievements |
本課題は、深層学習に基づいた写真の審美的品質評価に関する暗黙知表出化に向けた取り組みである。写真の審美的品質とは、人の美的感覚によって評価される品質を意味している。写真の審美的品質評価について、Attention機構の注目個所をAttention mapとして顕在化することにより、審美性推定に寄与する特徴や領域を明らかにする。そして、写真撮影の重要な要素として広く知られている構図や色調等の形式知として知られている要素が、写真のジャンルによってどう寄与するかを明らかにする。 Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、Attentionの概念を取り入れた審美性推定モデルの高精度化に取り組んでいる。今年度は、視覚的説明機能を有する審美的品質推定モデル実現のため、Attention branch networkに基づく推定モデルを構築した。また、モデルへの入力画像について、画像全体から得られる特徴に対してパッチ抽出した局所特徴を考慮することで、多様な解像度での審美的品質評価を実現した。評価実験では、提案モデルの学習と評価用のデータセットとしてAVAを用い、既存研究との精度比較を行うことで提案手法の有効性を確認した。 一方、写真に対する審美的品質評価の自動推定機能を持つ深層学習モデルに対して判断根拠の可視化技術を適用することにより、審美的品質推定に寄与する特徴を明らかにすることを最終目的とし、その第一歩として構図に注目した。今年度は、Grad-CAM++によって得られたAttention mapに対してクラスタリングを適用することで、審美性推定モデルが審美的品質推定の判断根拠として構図を考慮しているかについて実験的に検証を行った。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和4年度の課題は下記3つであった。 【課題1】 Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、“人の視知覚”と“機械学習”の異なるAttentionの概念を取り入れた審美性推定モデルの高精度化に取り組む。 【課題2】構築した審美性推定モデルに対し判断根拠の可視化技術を実現するため、課題1で導入したAttention機構によって獲得した深層学習モデルの注目領域をAttention mapとして顕在化させる技術を確立する。 【課題3】人の写真の審美性評価に関する感性メカニズムをより明らかにすることを最終目的とし、Attention mapに対して統計分析と画像処理を用いることにより暗黙知表出化に向けた分析を行う。 [おおむね順調に進展している]と判断した理由として、課題1と課題2について良好な成果が得られたことが挙げられる。また、課題3についても、当初の予定通りに進んでいる。
|
Strategy for Future Research Activity |
これまでのところ概ね順調に進展しており、今後の研究計画としては、基本的には当初の申請書通りに進める予定である。
|
Report
(2 results)
Research Products
(11 results)