• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深層学習に基づく写真の審美的品質評価に関する暗黙知の表出化

研究課題

研究課題/領域番号 21K11940
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関岡山県立大学

研究代表者

滝本 裕則  岡山県立大学, 情報工学部, 教授 (10413874)

研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2021年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
キーワード写真の審美性 / Explainable AI / 深層学習 / 審美性
研究開始時の研究の概要

写真の審美的品質とは、人の美的感覚によって評価される品質である。本申請課題では、データ駆動型アプローチにより人の審美性認識機構に迫る。まず、異なる概念のAttentionを導入した深層学習モデルにより写真の審美的品質推定の高精度化を実現する。そして、Explainable AI技術と画像処理技術により“写真の加工によって審美度がどのように変化するか”を分析する仮説検証型のアプローチにより、審美的品質評価に寄与する視覚特徴の解析、すなわち暗黙知表出化に取り組む。

研究実績の概要

本課題は、深層学習を基にした写真の審美的品質評価のための暗黙知の表出化に取り組むものである。ここでの「写真の審美的品質」とは、人々の美的感覚によって評価される品質のことを指す。本研究では、Attention機構による注目領域をAttention mapとして可視化し、審美性の推定に寄与する特徴や領域を明らかにする。さらに、構図や色調といった写真撮影の重要な要素が、写真のジャンルによってどのように寄与するかを解析する。
Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、Attentionの概念を取り入れた審美性推定モデルの高精度化に取り組んでいる。今年度は、人間の感性を考慮するうえで重要とされている視覚的注意と深層学習モデルの判断根拠との関係を分析・考察し、視覚的注意の審美的品質推定に対する有効性を推定することであった。まず、人間の感性を考慮するうえで重要とされる視覚的顕著性を用いて深層学習モデルの判断根拠に対する説明を試みた。次に、深層学習を用いた審美的品質推定において深層学習モデルとして主に用いられているCNNとViTの審美的品質推定タスクに対する特徴抽出機構の比較と考察を行った。最後に、視覚的顕著性を深層学習モデルを用いた審美的品質推定に導入することにより、審美的品質推定の高精度化を図った。
検証実験より、審美的品質推定精度の高い深層学習モデルは、より人間の注視する領域を重視して推定を行っていることを確認した。さらに、人間の注視領域が大域的な画像に対してViTは有効な特徴を取得できることを確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

令和5年度の課題は下記3つであった。
【課題1】人の視知覚と機械学習の異なるAttentionの概念を取り入れた審美性推定モデルの高精度化
【課題2】審美性推定モデルに対し判断根拠の可視化技術を実現するため、課題1で導入したAttention機構によって獲得した深層学習モデルの注目領域をAttention mapとして顕在化させる技術を確立
【課題3】人の写真の審美性評価に関する感性メカニズムをより明らかにすることを最終目的とし、Attention mapに対して統計分析と画像処理を用いることにより暗黙知表出化に向けた分析
課題1と課題2について良好な成果が得られたことが挙げられる。また、課題3については、当初の予定よりも若干遅れている

今後の研究の推進方策

大学業務等の影響により当初の計画よりも若干の遅れがあるため、研究期間を1年延長させていただいた。令和6年度については、基本的には当初の申請書に記載している最終年度により組むべき課題について対応する予定である。

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (16件)

すべて 2023 2022 2021 その他

すべて 国際共同研究 (2件) 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (12件) (うち国際学会 3件、 招待講演 2件)

  • [国際共同研究] Universitas Sulawesi Barat(インドネシア)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Universitas Sulawesi Barat(インドネシア)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] Study on relationship between composition and prediction of photo aesthetics using CNN2022

    • 著者名/発表者名
      Daichi Sakaguchi, Hironori Takimoto, Akihiro Kanagawa
    • 雑誌名

      Cogent Engineering

      巻: 9 号: 1

    • DOI

      10.1080/23311916.2022.2107472

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Anomaly Detection Using Siamese Network with Attention Mechanism for Few-Shot Learning2022

    • 著者名/発表者名
      Hironori Takimoto, Junya Seki, Sulfayanti F. Situju, Akihiro Kanagawa
    • 雑誌名

      Applied Artificial Intelligence

      巻: 36 号: 1

    • DOI

      10.1080/08839514.2022.2094885

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Deep photographic steganography using two-dimensional barcodes and with robustness to image perturbations'2023

    • 著者名/発表者名
      Y. Hayakawa, H. Takimoto, and A. Kanagawa
    • 学会等名
      SICE Annual Conference 2023
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] マルチパッチABNに基づく写真の審美的品質推定2023

    • 著者名/発表者名
      坂口 太一, 滝本 裕則, 金川 明弘
    • 学会等名
      2023年度 電気学会 電子・情報・システム部門大会 講演論文集
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 深層学習と画像処理2023

    • 著者名/発表者名
      滝本 裕則
    • 学会等名
      深層学習と画像処理
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 少量データによる画像処理AIの実利用2023

    • 著者名/発表者名
      滝本 裕則
    • 学会等名
      少量データによる画像処理AIの実利用
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Applications of Image Processing Techniques To Industrial Managment2022

    • 著者名/発表者名
      Akihiro Kanagawa, Hitoshi Yamauchi, Hironori Takimoto
    • 学会等名
      The Fifteenth International Conference on Industrial Management
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Attention Branch Networkを用いた写真の審美的品質推定の高精度化2022

    • 著者名/発表者名
      坂口 太一, 滝本 裕則,金川 明弘
    • 学会等名
      第27回 パターン計測シンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Attention Branch Network を用いた料理写真の美的品質推定2022

    • 著者名/発表者名
      江越 瑠一,滝本 裕則,金川 明弘
    • 学会等名
      第24回IEEE広島支部学生シンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 敵対的生成ネットワークを用いた写真に対する審美的品質の改善2022

    • 著者名/発表者名
      北山 晃生,滝本 裕則,金川 明弘
    • 学会等名
      第24回IEEE広島支部学生シンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Study on Relationship between Composition and Estimation of Photo Aesthetics Quality by Using CNN2021

    • 著者名/発表者名
      D. Sakaguchi, H. Takimoto, and A. Kanagawa
    • 学会等名
      SICE Annual Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] CycleGANを用いた写真の審美的品質の改善2021

    • 著者名/発表者名
      坂口 太一, 森田 光貴, 滝本 裕則, 金川 明弘
    • 学会等名
      2021年度 電気学会 電子・情報・システム部門大会 講演論文集
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Attention機構を導入したSiamese Networkによる工業製品の外観検査2021

    • 著者名/発表者名
      関 淳椰, 滝本 裕則,金川 明弘
    • 学会等名
      動的画像処理実利用化ワークショップ2022
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Attention機構を用いたSiamese Networkによる外観検査2021

    • 著者名/発表者名
      関 淳椰, 滝本 裕則,金川 明弘
    • 学会等名
      第26回 パターン計測シンポジウム
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi