2021 Fiscal Year Annual Research Report
Research on large-scale creative work by cooperation in crowdsourcing
| Project/Area Number |
19H04218
|
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
鈴木 優 岐阜大学, 工学部, 准教授 (40388111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
灘本 明代 甲南大学, 知能情報学部, 教授 (30359103)
波多野 賢治 同志社大学, 文化情報学部, 教授 (80314532)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | クラウドソーシング / 協調作業 / Webサービス / CSCW / 情報の品質 / 作業者 / Webアプリケーション / RDBMS |
|---|
| Outline of Annual Research Achievements |
今年度は，前年度に構築したWebアプリケーションの改良を行い，一つのタスクに対して複数の作業者が作業を行った際の合意形成過程について明らかにした．
作業者は多ければ多いほど，不適切な作業者の特定は容易になる．ところが，作業者を増やすことはコスト増大につながり，現実的な費用での作業が困難となる．そこで，機械学習により作業者を模倣するモデルを構築することができないかどうか，それにより作業者の品質測定が可能かどうかを調査した．
まず作業者ごとに，作業結果を模倣する機械学習モデルを構築する方法についての研究を行った．実データを利用して実験を行った．この実験では，全ての作業者による作業結果を入力としたモデルを構築し，一人の作業者の作業結果によりファインチューニングを行う方法（方法1）と，一人の作業者の作業結果だけを用いる方法（方法2）を比較した．この結果，予想に反して方法2の精度が方法1と比べ高いことが明らかになった．これは，作業者により特徴的な作業結果がファインチューニングによる方法では失われてしまうためである．
また，ここで構築した機械学習モデルと実際の作業を併用し，作業者の品質を測定する方法を構築した．その結果，実際の作業だけを使った場合と比較して，低品質な作業者の特定に関して精度が向上することが確認できた．
さらに，機械学習モデルとしてマルチタスク学習を用いる方法についての研究を行った．これは，入力と出力が対となっている通常の機械学習と異なり，一つの入力から複数のタスクを解くモデルを構築することにより，精度向上を目指す方法である．この方法を利用するためには，様々なタスクに対応する学習データが必要となり，さらにコストが増大する．そこで本研究では，マルチタスク学習に対応する学習データ構築が可能であることを確認した．さらに，構築した学習データによる機械学習モデルが精度向上に寄与することを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
評価実験の結果は予期しないものとなったが，理由なども含めて考察し，妥当であることを確認することができた．小規模な実験では問題が無いことが確認できたため，大規模実験を行う上での指針を得ることができた．
|
| Strategy for Future Research Activity |
提案手法による作業品質測定結果を，クラウドソーシングにおける作業進行にフィードバックする方法を構築する．多くの作業者による大規模な実験を行い，提案手法により作業精度が向上することを実際の実験により示す．
|
