2018 Fiscal Year Annual Research Report
Research on the evaluation method for high-skilled human resource in crowdsourcing
| Project/Area Number |
15K03647
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
比嘉 邦彦 東京工業大学, 環境・社会理工学院, 教授 (50282877)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 高品質人材 / Big Five / IWP / 自由文分析 / 成果物評価 / 低品質人材 / クラウドソーシング |
|---|
| Outline of Annual Research Achievements |
2018年度は、追加で2回のクラウドソーシングを利用した実証実験を行った結果、高度人材を対象とした実験においては、成果物評価の低いワーカーと高いワーカーでは、Counterproductive Working Behavior(CWB)の指標で統計的に有意な差があるという結果を得た。ただし、現状ではCWBはタスク発注後に測定可能な指標であり、タスク発注前に代替手段を用いて推定する方法の検討が必要となっている。また、同時にBig Fiveの指標も取得したが、各手法から示唆されるワーカーの低品質性（成果物評価によるもの）と統計的に有意な相関を示す結果は得られなかった。
これまでに実施した複数回の実証実験の結果、Big Fiveの良識性、IWP Counterproductive Work Behavior（反生産的職務行動）、及び自由文では顧客やユーザーへの貢献意識や自己に対する向上心、報酬への意識の観点において、タスクの成果物評価と統計的に有意な相関を示す結果を得ている。
また、単純作業を想定した低品質クラウドワーカーを効率的に検出するための手法も検討しており、複数回の多肢選択式実験から、一般的なダミー質問に加えて所要時間及び回答パターンを条件として組み合わせることが低品質クラウドワーカーの検出率を高めるという結果を得ている。低品質クラウドワーカーを事前に検出することができれば、無用なリスクを回避する事が可能となり、実務上からも非常に価値のあるものと考えられる。
最後に、単純多肢選択式実験では、依頼冒頭に誠実性を求める文書を、強調の度合いを変えて複数パターン設定し、これらの比較によってどの手法がより効果的であるか定量評価を行っている(現在データ分析中)。
|
| Remarks |
国際会議で発表した論文はbest paper awardを受賞した。
|
