| Project/Area Number |
21K11940
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
滝本 裕則 岡山県立大学, 情報工学部, 教授 (10413874)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | 写真の審美性 / Explainable AI / 深層学習 / 審美性 |
|---|
| Outline of Research at the Start |
写真の審美的品質とは、人の美的感覚によって評価される品質である。本申請課題では、データ駆動型アプローチにより人の審美性認識機構に迫る。まず、異なる概念のAttentionを導入した深層学習モデルにより写真の審美的品質推定の高精度化を実現する。そして、Explainable AI技術と画像処理技術により“写真の加工によって審美度がどのように変化するか”を分析する仮説検証型のアプローチにより、審美的品質評価に寄与する視覚特徴の解析、すなわち暗黙知表出化に取り組む。
|
| Outline of Annual Research Achievements |
本課題は、深層学習を基にした写真の審美的品質評価のための暗黙知の表出化に取り組むものである。ここでの「写真の審美的品質」とは、人々の美的感覚によって評価される品質のことを指す。本研究では、Attention機構による注目領域をAttention mapとして可視化し、審美性の推定に寄与する特徴や領域を明らかにする。さらに、構図や色調といった写真撮影の重要な要素が、写真のジャンルによってどのように寄与するかを解析する。
Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、Attentionの概念を取り入れた審美性推定モデルの高精度化に取り組んでいる。今年度は、人間の感性を考慮するうえで重要とされている視覚的注意と深層学習モデルの判断根拠との関係を分析・考察し、視覚的注意の審美的品質推定に対する有効性を推定することであった。まず、人間の感性を考慮するうえで重要とされる視覚的顕著性を用いて深層学習モデルの判断根拠に対する説明を試みた。次に、深層学習を用いた審美的品質推定において深層学習モデルとして主に用いられているCNNとViTの審美的品質推定タスクに対する特徴抽出機構の比較と考察を行った。最後に、視覚的顕著性を深層学習モデルを用いた審美的品質推定に導入することにより、審美的品質推定の高精度化を図った。
検証実験より、審美的品質推定精度の高い深層学習モデルは、より人間の注視する領域を重視して推定を行っていることを確認した。さらに、人間の注視領域が大域的な画像に対してViTは有効な特徴を取得できることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和5年度の課題は下記3つであった。
【課題1】人の視知覚と機械学習の異なるAttentionの概念を取り入れた審美性推定モデルの高精度化
【課題2】審美性推定モデルに対し判断根拠の可視化技術を実現するため、課題1で導入したAttention機構によって獲得した深層学習モデルの注目領域をAttention mapとして顕在化させる技術を確立
【課題3】人の写真の審美性評価に関する感性メカニズムをより明らかにすることを最終目的とし、Attention mapに対して統計分析と画像処理を用いることにより暗黙知表出化に向けた分析
課題1と課題2について良好な成果が得られたことが挙げられる。また、課題3については、当初の予定よりも若干遅れている
|
| Strategy for Future Research Activity |
大学業務等の影響により当初の計画よりも若干の遅れがあるため、研究期間を１年延長させていただいた。令和６年度については、基本的には当初の申請書に記載している最終年度により組むべき課題について対応する予定である。
|
