• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

視覚パターンによる画像記述を用いたディープニューラルネットのバイアスの低減

研究課題

研究課題/領域番号 23H00497
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関大阪大学

研究代表者

中島 悠太  大阪大学, 産業科学研究所, 教授 (70633551)

研究分担者 GARCIA・DOCAMPO NOA  大阪大学, 高等共創研究院, 准教授 (80870005)
研究期間 (年度) 2023-04-01 – 2028-03-31
研究課題ステータス 交付 (2025年度)
配分額 *注記
46,800千円 (直接経費: 36,000千円、間接経費: 10,800千円)
2025年度: 8,190千円 (直接経費: 6,300千円、間接経費: 1,890千円)
2024年度: 8,190千円 (直接経費: 6,300千円、間接経費: 1,890千円)
2023年度: 13,260千円 (直接経費: 10,200千円、間接経費: 3,060千円)
キーワード深層学習 / 社会的バイアス / バイアス低減 / バイアス / 定量評価
研究開始時の研究の概要

ディープニューラルネット(DNN)は医療や犯罪捜査など社会基盤としての応用が期待される一方で、社会的バイアスを持つことが知られはじめている。例えばDNNが犯罪捜査に使われた場合、社会的マイノリティ(人種など)に対する不利な判定につながり、社会基盤として実装する前に必ず解決するべき重大な問題である。本研究では学習によって得られる複数の視覚パターンの組み合わせで画像を表現するという新しいDNNのパラダイムを提案した上で、視覚パターンとDNNモデルの出力の関係からバイアスを定量化する手法を構築し、DNNモデルが持つバイアスを低減する手法を確立する。

研究実績の概要

初年度は、(1)データセットに含まれる社会的バイアスの定性的、及び統計的調査と、(2)視覚パターンによる画像記述の確立の2つのサブテーマについて研究を推進した。
(1)については、まず社会的属性に関するアノテーション作業を実施した。これは、視覚情報とテキストに関する様々なタスクのためのモデルのバイアス評価に利用することができるもので、画像約18,889枚に含まれる35,347の人物領域について、年齢等のアノテーションを付与した。また、画像生成モデルに生じうる社会的バイアスの問題について、モデルのライフサイクルの観点から調査した。画像生成モデルにおけるバイアスの評価は、多くの場合定性的なものとなることが多いことから、画像領域分割等の技術を用いた定量的評価手法も提案した。これにより、画像生成モデルのバイアスの大小を比較できる。
(2)について、まずは視覚パターンを利用した画像表現を用いて、少数の画像のみから学習する画像認識モデルを提案した。この手法では、事前に視覚パターンを獲得し、それらを利用して画像を表現することにより、少数画像でも高い精度での画像認識を可能にしている。また、このアイデアを発展させ、対象となる画像認識タスクの学習の中で視覚パターンを獲得する手法も提案した。自己注意機構を利用するとともに、視覚パターンによる画像表現を利用した対照学習や画像復元を学習時に認識器の学習時に併用することにより、認識性能を維持しつつ、人にもある程度解釈可能な視覚パターンを獲得できることを実験的に示した。
これらに加えて、画像キャプショニングタスクにおけるバイアス低減手法も提案している。この手法では、キャプションを生成した後、そのキャプションに含まれる社会的バイアスを低減したキャプションを再生成するようなモデルを学習している。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初の計画である(1)データセットに含まれる社会的バイアスの定性的・統計的調査と、(2)視覚パターンによる画像記述の確立の2つのサブテーマについて、計画通りに進捗しており、これらに加えてバイアス低減手法についても検討を開始していることから、当初の計画以上に進展しているものと考える。

今後の研究の推進方策

次年度は、当初の計画通り、本年度に引き続き、主にデータセットに含まれるバイアスの分析や画像の表現方法など、本研究の目的であるバイアス低減のために必要な基盤技術を完成させることを目指すとともに、バイアス低減手法についても研究を進める。具体的には下記の課題に取り組む。
(1)データセットに含まれる社会的バイアスの定性的、統計的調査方法の確立: 引き続き、視覚情報と自然言語に関する様々なタスクについて、バイアスの調査方法に関する研究開発を実施する。
(2)視覚パターンによる画像記述の確立: 前年度に引き続き、人にとって解釈がし易い視覚パターンを利用した画像記述に関する研究を推進する。特に、視覚パターンの組み合わせ等を考えることにより、少ないパターンでより高い表現力を有するようなアプローチを検討する。
(3)バイアス低減手法に関する検討: 本年度の研究で、当初の計画より進展が見られたことから、次年度は、視覚パターンによる画像記述を利用したバイアス低減の事前準備として、視覚情報に対して適用可能なバイアス低減手法について、広く検討を開始する。具体的には、画像生成モデルを用いた画像中の属性の変更等によるバイアス低減の可能性等を考える。

報告書

(2件)
  • 2023 審査結果の所見   実績報告書
  • 研究成果

    (12件)

すべて 2023

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (11件) (うち国際学会 10件、 招待講演 3件)

  • [雑誌論文] Societal Bias in Vision-and-Language Datasets and Models2023

    • 著者名/発表者名
      Yuta Nakashima, Yusuke Hirota, Yankun Wu, Noa Garicia
    • 雑誌名

      日本画像学会誌

      巻: 62 号: 6 ページ: 599-609

    • DOI

      10.11370/isj.62.599

    • ISSN
      1344-4425, 1880-4675
    • 年月日
      2023-12-10
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [学会発表] Toward Verifiable and Reproducible Human Evaluation for Text-to-Image Generation2023

    • 著者名/発表者名
      Mayu Otani, Riku Togashi, Yu Sawai, Ryosuke Ishigami, Yuta Nakashima, Esa Rahtu, Janne Heikkila, Shin’ichi Satoh
    • 学会等名
      Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Revisiting Pixel-Level Contrastive Pre-Training on Scene Images2023

    • 著者名/発表者名
      Zhongshan Pang, Yuta Nakashima, Mayu Otani, Hajime Nagahara
    • 学会等名
      Winter Conference on Applications of Computer Vision
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Instruct Me More! Random Prompting for Visual In-Context Learning2023

    • 著者名/発表者名
      Jiahao Zhang, Bowen Wang, Liangzhi Li, Yuta Nakashima, Hajime Nagahara
    • 学会等名
      Winter Conference on Applications of Computer Vision
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Enhancing Fake News Detection in Social Media via Label Propagation on Cross-modal Tweet Graph2023

    • 著者名/発表者名
      Wanqing Zhao, Haiyuan Chen, Yuta Nakashima, Noboru Babaguchi
    • 学会等名
      International Conference on Multimedia
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis2023

    • 著者名/発表者名
      Yankun Wu, Yuta Nakashima, Noa Garcia
    • 学会等名
      International Conference on Multimedia Retrieval
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Learning Bottleneck Concepts in Image Classification2023

    • 著者名/発表者名
      Bowen Wang, Liangzhi Li, Yuta Nakashima, Hajime Nagahara
    • 学会等名
      Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Model-Agnostic Gender Debiased Image Captioning2023

    • 著者名/発表者名
      Yusuke Hirota, Yuta Nakashima, Noa Garcia
    • 学会等名
      Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Uncurated Image-Text Datasets: Shedding Light on Demographic Bias2023

    • 著者名/発表者名
      Noa Garcia, Yusuke Hirota, Yankun Wu, Yuta Nakashima
    • 学会等名
      Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Vision and Language の現状とバイアス2023

    • 著者名/発表者名
      中島悠太
    • 学会等名
      第22回情報科学技術フォーラム
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Concept discovery from an image dataset: Toward image representation with an emergent language2023

    • 著者名/発表者名
      Yuta Nakashima
    • 学会等名
      International Workshop on Symbolic-Neural Learning
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Mitigating social bias in image captioning models - Introduction of paper "Model-agnostic gender debiased image captioning2023

    • 著者名/発表者名
      Yuta Nnakashima
    • 学会等名
      International Workshop on Frontiers of Computer Vision
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演

URL: 

公開日: 2023-04-13   更新日: 2025-06-20  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi