2023 Fiscal Year Annual Research Report
Bias Mitigation for Deep Neural Networks by Concept-based Image Descriptors
| Project/Area Number |
23H00497
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
中島 悠太 大阪大学, データビリティフロンティア機構, 教授 (70633551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
GARCIA・DOCAMPO NOA 大阪大学, データビリティフロンティア機構, 特任助教(常勤) (80870005)
|
|---|
| Project Period (FY) |
2023-04-01 – 2028-03-31
|
| Keywords | 深層学習 / バイアス / 社会的バイアス / 定量評価 / バイアス低減 |
|---|
| Outline of Annual Research Achievements |
初年度は、（１）データセットに含まれる社会的バイアスの定性的、及び統計的調査と、（２）視覚パターンによる画像記述の確立の２つのサブテーマについて研究を推進した。
（１）については、まず社会的属性に関するアノテーション作業を実施した。これは、視覚情報とテキストに関する様々なタスクのためのモデルのバイアス評価に利用することができるもので、画像約18,889枚に含まれる35,347の人物領域について、年齢等のアノテーションを付与した。また、画像生成モデルに生じうる社会的バイアスの問題について、モデルのライフサイクルの観点から調査した。画像生成モデルにおけるバイアスの評価は、多くの場合定性的なものとなることが多いことから、画像領域分割等の技術を用いた定量的評価手法も提案した。これにより、画像生成モデルのバイアスの大小を比較できる。
（２）について、まずは視覚パターンを利用した画像表現を用いて、少数の画像のみから学習する画像認識モデルを提案した。この手法では、事前に視覚パターンを獲得し、それらを利用して画像を表現することにより、少数画像でも高い精度での画像認識を可能にしている。また、このアイデアを発展させ、対象となる画像認識タスクの学習の中で視覚パターンを獲得する手法も提案した。自己注意機構を利用するとともに、視覚パターンによる画像表現を利用した対照学習や画像復元を学習時に認識器の学習時に併用することにより、認識性能を維持しつつ、人にもある程度解釈可能な視覚パターンを獲得できることを実験的に示した。
これらに加えて、画像キャプショニングタスクにおけるバイアス低減手法も提案している。この手法では、キャプションを生成した後、そのキャプションに含まれる社会的バイアスを低減したキャプションを再生成するようなモデルを学習している。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画である（１）データセットに含まれる社会的バイアスの定性的・統計的調査と、（２）視覚パターンによる画像記述の確立の２つのサブテーマについて、計画通りに進捗しており、これらに加えてバイアス低減手法についても検討を開始していることから、当初の計画以上に進展しているものと考える。
|
| Strategy for Future Research Activity |
次年度は、当初の計画通り、本年度に引き続き、主にデータセットに含まれるバイアスの分析や画像の表現方法など、本研究の目的であるバイアス低減のために必要な基盤技術を完成させることを目指すとともに、バイアス低減手法についても研究を進める。具体的には下記の課題に取り組む。
(1)データセットに含まれる社会的バイアスの定性的、統計的調査方法の確立: 引き続き、視覚情報と自然言語に関する様々なタスクについて、バイアスの調査方法に関する研究開発を実施する。
(2)視覚パターンによる画像記述の確立: 前年度に引き続き、人にとって解釈がし易い視覚パターンを利用した画像記述に関する研究を推進する。特に、視覚パターンの組み合わせ等を考えることにより、少ないパターンでより高い表現力を有するようなアプローチを検討する。
(3)バイアス低減手法に関する検討: 本年度の研究で、当初の計画より進展が見られたことから、次年度は、視覚パターンによる画像記述を利用したバイアス低減の事前準備として、視覚情報に対して適用可能なバイアス低減手法について、広く検討を開始する。具体的には、画像生成モデルを用いた画像中の属性の変更等によるバイアス低減の可能性等を考える。
|
