2022 Fiscal Year Research-status Report
深層学習に基づく写真の審美的品質評価に関する暗黙知の表出化
| Project/Area Number |
21K11940
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
滝本 裕則 岡山県立大学, 情報工学部, 准教授 (10413874)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 写真の審美性 / Explainable AI / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本課題は、深層学習に基づいた写真の審美的品質評価に関する暗黙知表出化に向けた取り組みである。写真の審美的品質とは、人の美的感覚によって評価される品質を意味している。写真の審美的品質評価について、Attention機構の注目個所をAttention mapとして顕在化することにより、審美性推定に寄与する特徴や領域を明らかにする。そして、写真撮影の重要な要素として広く知られている構図や色調等の形式知として知られている要素が、写真のジャンルによってどう寄与するかを明らかにする。
Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、Attentionの概念を取り入れた審美性推定モデルの高精度化に取り組んでいる。今年度は、視覚的説明機能を有する審美的品質推定モデル実現のため、Attention branch networkに基づく推定モデルを構築した。また、モデルへの入力画像について、画像全体から得られる特徴に対してパッチ抽出した局所特徴を考慮することで、多様な解像度での審美的品質評価を実現した。評価実験では、提案モデルの学習と評価用のデータセットとしてAVAを用い、既存研究との精度比較を行うことで提案手法の有効性を確認した。
一方、写真に対する審美的品質評価の自動推定機能を持つ深層学習モデルに対して判断根拠の可視化技術を適用することにより、審美的品質推定に寄与する特徴を明らかにすることを最終目的とし、その第一歩として構図に注目した。今年度は、Grad-CAM++によって得られたAttention mapに対してクラスタリングを適用することで、審美性推定モデルが審美的品質推定の判断根拠として構図を考慮しているかについて実験的に検証を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和4年度の課題は下記3つであった。
【課題1】 Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、“人の視知覚”と“機械学習”の異なるAttentionの概念を取り入れた審美性推定モデルの高精度化に取り組む。
【課題2】構築した審美性推定モデルに対し判断根拠の可視化技術を実現するため、課題1で導入したAttention機構によって獲得した深層学習モデルの注目領域をAttention mapとして顕在化させる技術を確立する。
【課題3】人の写真の審美性評価に関する感性メカニズムをより明らかにすることを最終目的とし、Attention mapに対して統計分析と画像処理を用いることにより暗黙知表出化に向けた分析を行う。
［おおむね順調に進展している］と判断した理由として、課題1と課題2について良好な成果が得られたことが挙げられる。また、課題3についても、当初の予定通りに進んでいる。
|
| Strategy for Future Research Activity |
これまでのところ概ね順調に進展しており、今後の研究計画としては、基本的には当初の申請書通りに進める予定である。
|
| Causes of Carryover |
当初の予定では、令和4年度中に複数台の深層学習用計算機を購入する予定であったが、機種の選定に時間を要したため、次年度に購入することとした。また、令和4年度中に予定していた国際会議での成果発表について、大学業務等の影響により執筆が遅れており、旅費の支出分が残っている。
|
