• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Understanding Concrete and Abstract Representations in Art

研究課題

研究課題/領域番号 20K19822
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関大阪大学

研究代表者

GARCIA・DOCAMPO NOA  大阪大学, データビリティフロンティア機構, 特任助教(常勤) (80870005)

研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2021年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2020年度: 2,210千円 (直接経費: 1,700千円、間接経費: 510千円)
キーワードcomputer vision for art / vision and language / description generation / image search / computer vision / art analysis / text-to-image generation / visual representation / digital humanities / automatic art analysis / art description / artwork recognition / visual recognition / image captioning / visual understanding / deep neural networks / transfer learning / question answering
研究開始時の研究の概要

This research studies how machines can understand and interpret art as we humans do. When we look at a painting, we "read" it by recognizing its depicted objects, its emotions, its style, etc. By using machine learning tools, we will replicate this behavior and provide new interpretations of art.

研究成果の概要

本プロジェクトでは、コンピュータビジョン(CV)と人工知能(AI)の技術を用いて、アートにおける具体的表現と抽象的表現を理解するための研究を行いました。このプロジェクトの成果は3つある:
1) 美術品に関する質問に答えるためのデータセットを作成した。2) 絵画から説明文を生成するモデルを開発した。3) 写真から作品を特定するためのデータセットを作成した。
私たちの研究は、トップレベルの学会で発表され、いくつかの招待講演を通じて研究コミュニティに提供されました。

研究成果の学術的意義や社会的意義

With this research, we aimed to make art more accessible to people by developing artifical intelligence models that facilitate the understanding of art. For example, by generating automatic explanations of paintings, museum visitors can understand the intrinsic meaning of each artwork easily.

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (28件)

すべて 2023 2022 2021 2020 その他

すべて 国際共同研究 (10件) 学会発表 (14件) (うち国際学会 12件、 招待講演 5件) 備考 (4件)

  • [国際共同研究] Czech Technical University in Prague(チェコ)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] University of Amsterdam(オランダ)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Columbia University(米国)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] University Rennes(フランス)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Istituto Italiano di Tecnologia(イタリア)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] Chinese Academy of Sciences(中国)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] Carnegie Mellon University/Columbia University(米国)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] University of Bamberg(ドイツ)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] Czech Technical University in Prague(チェコ)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] University of Amsterdam(オランダ)

    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis2023

    • 著者名/発表者名
      Yankun Wu
    • 学会等名
      ACM International Conference on Multimedia Retrieval 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Through the latent space. A conversation on Dall-E and art (history)2022

    • 著者名/発表者名
      Noa Garcia
    • 学会等名
      Digital Art History Summer School 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Automatic interpretability in art2022

    • 著者名/発表者名
      Noa Garcia
    • 学会等名
      Thousand Words of Art Tutorial at Conference on Digital Humanities 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Content, Form, and Context. What we talk about when we talk about art?2022

    • 著者名/発表者名
      Noa Garcia
    • 学会等名
      5th Workshop on Computer Vision for Fashion, Art, and Design at the Computer Vision and Pattern Recognition 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Explain Me the Painting: Multi-Topic Knowledgeable Art Description Generation2021

    • 著者名/発表者名
      Zechen Bai, Yuta Nakashima, Noa Garcia
    • 学会等名
      IEEE/CVF International Conference on Computer Vision 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Instance-level Recognition for Artworks: The MET Dataset2021

    • 著者名/発表者名
      Nikolaos-Antonios Ypsilantis, Noa Garcia, Guangxing Han, Sarah Ibrahimi, Nanne Van Noord, Giorgos Tolias
    • 学会等名
      Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Transferring Domain-Agnostic Knowledge in Video Question Answering2021

    • 著者名/発表者名
      Tianran Wu, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima, Haruo Takemura
    • 学会等名
      British Machine Vision Conference 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph2021

    • 著者名/発表者名
      Cheikh Brahim El Vaigh, Noa Garcia, Benjamin Renoust, Chenhui Chu, Yuta Nakashima, Hajime Nagahara
    • 学会等名
      ACM International Conference in Multimedia Retrieval 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Visual Question Answering with Textual Representations2021

    • 著者名/発表者名
      Yusuke Hirota, Noa Garcia, Mayu Otani, Chenhui Chu, Yuta Nakashima, Ittetsu Taniguchi, Takao Onoye
    • 学会等名
      Workshop on Closing the Loop Between Vision and Language, IEEE/CVF International Conference on Computer Vision 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Understanding Fine-Art Paintings through Visual and Language Representations2021

    • 著者名/発表者名
      Noa Garcia
    • 学会等名
      CAI+CAI Workshop, Natural Language Processing 2021
    • 関連する報告書
      2021 実施状況報告書
    • 招待講演
  • [学会発表] Understanding Fine-Art Paintings through Visual and Language Representations2021

    • 著者名/発表者名
      Noa Garcia
    • 学会等名
      CAI+CAI co-held at Natural Language Processing 2021 Conference (言語処理学会年次大会2021)
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions2020

    • 著者名/発表者名
      Noa Garcia, Yuta Nakashima
    • 学会等名
      European Conference on Computer Vision
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] A Dataset and Baselines for Visual Question Answering on Art2020

    • 著者名/発表者名
      Noa Garcia, Chentao Ye, Zihua Liu, Qingtao Hu, Mayu Otani, Chenhui Chu, Yuta Nakashima and Teruko Mitamura
    • 学会等名
      VISART workshop at European Conference on Computer Vision 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Demographic Influences on Contemporary Art with Unsupervised Style Embeddings2020

    • 著者名/発表者名
      Nikolai Huckle, Noa Garcia and Yuta Nakashima
    • 学会等名
      VISART workshop at European Conference on Computer Vision 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [備考] Art Description Generation

    • URL

      https://sites.google.com/view/art-description-generation

    • 関連する報告書
      2021 実施状況報告書
  • [備考] The Met Dataset

    • URL

      http://cmp.felk.cvut.cz/met/

    • 関連する報告書
      2021 実施状況報告書
  • [備考] Visual Question Answering on Art

    • URL

      https://github.com/noagarcia/ArtVQA

    • 関連する報告書
      2021 実施状況報告書
  • [備考] contempArt

    • URL

      https://contempart.org/

    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi