Machine Learning for Professional Crowdsourcing Tasks

2019 Fiscal Year Annual Research Report

• Project/Area Number: 18K18105
• Research Institution: University of Tsukuba
• Principal Investigator: 馬場 雪乃 筑波大学, システム情報系, 准教授 (40711453)
• Project Period (FY): 2018-04-01 – 2020-03-31
• Keywords: ヒューマンコンピュテーション / クラウドソーシング

Outline of Annual Research Achievements

実社会の様々なドメインにおいて機械学習活用が進み、従来人手で行われている専門的な判断を、機械学習を用いて自動化したいという需要が高まりつつある。そのような機械学習モデルを構築するためには、人手で作成した大規模な訓練データが必要となるが、専門家によるデータ作成は非効率的である。
そこで、当該年度は、非専門家が専門的なアノテーションを実施できるようにするため、非専門家を教育する手法を開発した。特に、十分な教材データがない状況でも、非専門家同士が協調することで、お互いを教え合うためのシステマティックな手法を開発した。この手法は、非専門家、すなわち生徒の習熟度に合わせて、生徒が学ぶための適切な教材を提示する。教材は、サンプルと、それに対するアノテーション例である。提示するアノテーション例は、他の生徒による回答例のうち、正しい確率が高いものである。お互いの回答を見せ合いながら、互いに学んでいくという状況を、機械学習モデルを用いて効率化している。具体的には、最初に生徒にテストを受けさせ、その回答から、生徒の回答モデルを推定する。同時に、正しい回答モデルも推定する。生徒は、教材を提示されると勾配法でモデルを更新するものとして、いまの生徒の回答モデルを、正しい回答モデルに最も近づけるような教材を選択する。
虫の分類や、ワインの分類といったデータを使ったシミュレーションにおいて、この手法が、正しい教材を提示した場合と同等の学習効率を達成することを確認した。