Machine Learning Methods for Cost Reduction in Label Collection by Crowdsourcing

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K20277
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 60080:Database-related
• Research Institution: University of Yamanashi
• Principal Investigator: Li Jiyi 山梨大学, 大学院総合研究部, 助教 (30726667)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: クラウドソーシング / ラベル付与 / コスト削減 / 機械学習

Outline of Final Research Achievements

The objective of this study is to propose machine learning methods that can reduce the cost of using the crowdsourcing service in the task of accurately annotating large-scale data for various media processing, such as text and images. We proposed methods for disambiguating label assignment by refining data collected through crowdsourcing. We proposed methods to improve data quality by selecting instances and workers. In order to build models in various media, by incorporating the content of the instances, we extended the methods of answer aggregation with categorical labels so that it can handle diverse data types such as sequences. We have published 8 papers at international conferences including the top international conferences on artificial intelligence such as IJCAI, WWW, SIGIR, and MM.

Free Research Field

クラウドソーシング、データマイニング、自然言語処理

Academic Significance and Societal Importance of the Research Achievements

本研究は，大規模データと多数のラベルを対象としたラベル付与においてトレードオフ関係にあるコスト削減と品質向上を同時に目指す点が挑戦的であり，独自性がある．テキストや画像など実用レベルで利用可能な機械学習モデルを提案することであり，ペアワイズラベル及びシーケンスラベルへの拡張にも挑戦する．ラベル付与で生じる問題点は，機械学習及び自然言語処理など人工知能分野にも還元することができることから，学術的意義は極めて大きい．近年脚光を浴びている深層学習などの教師付き機械学習において本質的な問題である学習データの作成に直接貢献することから，産業界における多様な分野での人工知能技術の実用化と進展が期待できる．