• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Bias Mitigation for Deep Neural Networks by Concept-based Image Descriptors

Research Project

Project/Area Number 23H00497
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Osaka

Principal Investigator

中島 悠太  大阪大学, 産業科学研究所, 教授 (70633551)

Co-Investigator(Kenkyū-buntansha) GARCIA・DOCAMPO NOA  大阪大学, 高等共創研究院, 准教授 (80870005)
Project Period (FY) 2023-04-01 – 2028-03-31
Project Status Granted (Fiscal Year 2025)
Budget Amount *help
¥46,800,000 (Direct Cost: ¥36,000,000、Indirect Cost: ¥10,800,000)
Fiscal Year 2025: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
Fiscal Year 2024: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
Fiscal Year 2023: ¥13,260,000 (Direct Cost: ¥10,200,000、Indirect Cost: ¥3,060,000)
Keywords深層学習 / 社会的バイアス / バイアス低減 / バイアス / 定量評価
Outline of Research at the Start

ディープニューラルネット(DNN)は医療や犯罪捜査など社会基盤としての応用が期待される一方で、社会的バイアスを持つことが知られはじめている。例えばDNNが犯罪捜査に使われた場合、社会的マイノリティ(人種など)に対する不利な判定につながり、社会基盤として実装する前に必ず解決するべき重大な問題である。本研究では学習によって得られる複数の視覚パターンの組み合わせで画像を表現するという新しいDNNのパラダイムを提案した上で、視覚パターンとDNNモデルの出力の関係からバイアスを定量化する手法を構築し、DNNモデルが持つバイアスを低減する手法を確立する。

Outline of Annual Research Achievements

初年度は、(1)データセットに含まれる社会的バイアスの定性的、及び統計的調査と、(2)視覚パターンによる画像記述の確立の2つのサブテーマについて研究を推進した。
(1)については、まず社会的属性に関するアノテーション作業を実施した。これは、視覚情報とテキストに関する様々なタスクのためのモデルのバイアス評価に利用することができるもので、画像約18,889枚に含まれる35,347の人物領域について、年齢等のアノテーションを付与した。また、画像生成モデルに生じうる社会的バイアスの問題について、モデルのライフサイクルの観点から調査した。画像生成モデルにおけるバイアスの評価は、多くの場合定性的なものとなることが多いことから、画像領域分割等の技術を用いた定量的評価手法も提案した。これにより、画像生成モデルのバイアスの大小を比較できる。
(2)について、まずは視覚パターンを利用した画像表現を用いて、少数の画像のみから学習する画像認識モデルを提案した。この手法では、事前に視覚パターンを獲得し、それらを利用して画像を表現することにより、少数画像でも高い精度での画像認識を可能にしている。また、このアイデアを発展させ、対象となる画像認識タスクの学習の中で視覚パターンを獲得する手法も提案した。自己注意機構を利用するとともに、視覚パターンによる画像表現を利用した対照学習や画像復元を学習時に認識器の学習時に併用することにより、認識性能を維持しつつ、人にもある程度解釈可能な視覚パターンを獲得できることを実験的に示した。
これらに加えて、画像キャプショニングタスクにおけるバイアス低減手法も提案している。この手法では、キャプションを生成した後、そのキャプションに含まれる社会的バイアスを低減したキャプションを再生成するようなモデルを学習している。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初の計画である(1)データセットに含まれる社会的バイアスの定性的・統計的調査と、(2)視覚パターンによる画像記述の確立の2つのサブテーマについて、計画通りに進捗しており、これらに加えてバイアス低減手法についても検討を開始していることから、当初の計画以上に進展しているものと考える。

Strategy for Future Research Activity

次年度は、当初の計画通り、本年度に引き続き、主にデータセットに含まれるバイアスの分析や画像の表現方法など、本研究の目的であるバイアス低減のために必要な基盤技術を完成させることを目指すとともに、バイアス低減手法についても研究を進める。具体的には下記の課題に取り組む。
(1)データセットに含まれる社会的バイアスの定性的、統計的調査方法の確立: 引き続き、視覚情報と自然言語に関する様々なタスクについて、バイアスの調査方法に関する研究開発を実施する。
(2)視覚パターンによる画像記述の確立: 前年度に引き続き、人にとって解釈がし易い視覚パターンを利用した画像記述に関する研究を推進する。特に、視覚パターンの組み合わせ等を考えることにより、少ないパターンでより高い表現力を有するようなアプローチを検討する。
(3)バイアス低減手法に関する検討: 本年度の研究で、当初の計画より進展が見られたことから、次年度は、視覚パターンによる画像記述を利用したバイアス低減の事前準備として、視覚情報に対して適用可能なバイアス低減手法について、広く検討を開始する。具体的には、画像生成モデルを用いた画像中の属性の変更等によるバイアス低減の可能性等を考える。

Report

(2 results)
  • 2023 Comments on the Screening Results   Annual Research Report
  • Research Products

    (12 results)

All 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (11 results) (of which Int'l Joint Research: 10 results,  Invited: 3 results)

  • [Journal Article] Societal Bias in Vision-and-Language Datasets and Models2023

    • Author(s)
      Yuta Nakashima, Yusuke Hirota, Yankun Wu, Noa Garicia
    • Journal Title

      NIHON GAZO GAKKAISHI (Journal of the Imaging Society of Japan)

      Volume: 62 Issue: 6 Pages: 599-609

    • DOI

      10.11370/isj.62.599

    • ISSN
      1344-4425, 1880-4675
    • Year and Date
      2023-12-10
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Presentation] Toward Verifiable and Reproducible Human Evaluation for Text-to-Image Generation2023

    • Author(s)
      Mayu Otani, Riku Togashi, Yu Sawai, Ryosuke Ishigami, Yuta Nakashima, Esa Rahtu, Janne Heikkila, Shin’ichi Satoh
    • Organizer
      Conference on Computer Vision and Pattern Recognition
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Revisiting Pixel-Level Contrastive Pre-Training on Scene Images2023

    • Author(s)
      Zhongshan Pang, Yuta Nakashima, Mayu Otani, Hajime Nagahara
    • Organizer
      Winter Conference on Applications of Computer Vision
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Instruct Me More! Random Prompting for Visual In-Context Learning2023

    • Author(s)
      Jiahao Zhang, Bowen Wang, Liangzhi Li, Yuta Nakashima, Hajime Nagahara
    • Organizer
      Winter Conference on Applications of Computer Vision
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Enhancing Fake News Detection in Social Media via Label Propagation on Cross-modal Tweet Graph2023

    • Author(s)
      Wanqing Zhao, Haiyuan Chen, Yuta Nakashima, Noboru Babaguchi
    • Organizer
      International Conference on Multimedia
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Not Only Generative Art: Stable Diffusion for Content-Style Disentanglement in Art Analysis2023

    • Author(s)
      Yankun Wu, Yuta Nakashima, Noa Garcia
    • Organizer
      International Conference on Multimedia Retrieval
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning Bottleneck Concepts in Image Classification2023

    • Author(s)
      Bowen Wang, Liangzhi Li, Yuta Nakashima, Hajime Nagahara
    • Organizer
      Conference on Computer Vision and Pattern Recognition
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Model-Agnostic Gender Debiased Image Captioning2023

    • Author(s)
      Yusuke Hirota, Yuta Nakashima, Noa Garcia
    • Organizer
      Conference on Computer Vision and Pattern Recognition
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Uncurated Image-Text Datasets: Shedding Light on Demographic Bias2023

    • Author(s)
      Noa Garcia, Yusuke Hirota, Yankun Wu, Yuta Nakashima
    • Organizer
      Conference on Computer Vision and Pattern Recognition
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Vision and Language の現状とバイアス2023

    • Author(s)
      中島悠太
    • Organizer
      第22回情報科学技術フォーラム
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Concept discovery from an image dataset: Toward image representation with an emergent language2023

    • Author(s)
      Yuta Nakashima
    • Organizer
      International Workshop on Symbolic-Neural Learning
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Mitigating social bias in image captioning models - Introduction of paper "Model-agnostic gender debiased image captioning2023

    • Author(s)
      Yuta Nnakashima
    • Organizer
      International Workshop on Frontiers of Computer Vision
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited

URL: 

Published: 2023-04-13   Modified: 2025-06-20  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi