2015 Fiscal Year Research-status Report
クラウドソーシングにおける高度人材評価方法に関する研究
Project/Area Number |
15K03647
|
Research Institution | Tokyo Institute of Technology |
Principal Investigator |
比嘉 邦彦 東京工業大学, 大学院イノベーションマネジメント研究科, 教授 (50282877)
|
Project Period (FY) |
2015-04-01 – 2018-03-31
|
Keywords | クラウドソーシング / 人材評価 / 高度人材 / ワークパフォーマンス / ビッグファイブ / 品質評価 |
Outline of Annual Research Achievements |
計画初年度である平成27年度はCS上で働くワーカーや、専門家へのインタビューに基づき、人材評価の枠組みの初期案を策定したうえ、国内CSサイトにてパイロットテストを実施した。初期案においてはまず、CS指標に対する代替指標としてIWPに加え性格検査における主要5因子(Big 5)を候補とし、最終的な成果物の評価との関係を検証することとした。検証に際しては国内CS(クラウドワークス)にて700文字程度の和文英訳業務を発注することによりデータを得た。日本語文に対する英訳を1週間で実施する業務に対して40名のワーカーを目標として応募を行い、結果的に36名より成果物を得ることが出来た。 成果物の評価は海外CSにマイクロタスク型評価依頼発注を行い、結果に対しては研究室員間でも妥当性の確認を行った。アンケートはWork Performanceについては既存研究を基にリッカート5段階形式よるIWQPを設定した。Big 5については既存文献に基づきYes/Noによる70問の設問を設定した。これらの指標を補強するキーワード的要素が無いか検証するために、自由文書記入形式の非定型質問を合わせて設定した。得られたデータを解析した結果、各CS指標に関しては成果物評価との相関は見られなかった一方、IWPQについてはCounterproductive Work Behavior(CWB、後ろ向きな姿勢)指標に関して一定の相関があり、Big5については良識性と一定の相関が見られた。 初年度の取り組みを通じて、IWP、Big5を評価の指標として利用することに一定の有効性が見られた。しかしながら、これらの指標の測定には、アンケート取得のタイミングの難しさ、設問の多さ等、実用上の課題がある。今後の研究においては自由文等の代替手段を用いるなど、より簡易な方法を検討していく必要がある。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の計画における初年度の目標は、人材評価の枠組みの初期案を策定した上、パイロットテストを行い、各種評価指標と最終的な成果物の質(評価レベル)との関係を検証することにあった。予定していた2回の発注が実質的に1回の発注(プレ発注及び本発注)となったものの、得られたデータより検証が可能であったことと、適切にワーカーを確保し、アンケートが得られたこととから、現時点で研究は順調に進捗していると判断できる。平成28年度は当パイロットテストの結果を踏まえ、総勢100名程度のワーカーを対象とすることを想定し、更なる評価の枠組みの妥当性を検証する予定である。なお、パイロットテストで得られた研究成果については、平成28年度に開催予定の日本テレワーク学会研究発表大会およびAAI 2016 (5th International Congress on Advanced Applied Informatics)にて報告予定である。
|
Strategy for Future Research Activity |
平成27年度の調査及び研究成果を受けて、本年度は主に次の3点について取り組みを行う。 1.高度人材評価のための代替指標の検討:前年度研究において高度人材の評価の枠組みとしてIWP、Big5の活用がある程度有効である可能性が示された。しかしながら、両指標はアンケートベースの調査方法であり、アンケート取得のタイミングや設問数の多さなど、実用上の問題を抱えている。そのため両指標を代替する簡易な情報収集方法を検討しその有効性を実験を通じて検証する。 2.高度人材評価の枠組みの有効性検証:前年度の発注では“和文英訳”のタスクを発注し、評価の枠組みの有効性について初期的な検証を行った。実験では一定の有効性が見られたものの、タスクが限定されており、他のハイスキルなタスクでも同じ結果が出るかは未定である。また、前年度発注ではサンプル数も36と少ないため、より幅広いタスクで多くのサンプルを対象に実験を行い有効性を検討する。 3.対外発表の推進:前年度及び本年度の実験結果をもとに、対外発表を推進する。平成27年度の実験結果については、学会への論文投稿、国際会議での発表を予定しており、既に国内学会と国際会議での発表が決まっている。また、本年度の実験については本年度内の海外学会誌への投稿を検討している。
|
Causes of Carryover |
平成27年度は、約40万円が未消化であった。未消化の理由は主に国内外の出張が未実施であったためである。国内外の出張によりおおよそ60万円を計上しており、こちらが未消化であった。クラウドソーシングの初回発注が12月にずれ込んだため27年度内の学会等への発表応募が間に合わなかったことにある。この発注の遅延の理由としては、まず、実験にて評価する指標が当初予定から増加したことがある。当初はIWPのみを指標として検証する予定であったが、心理指標Big5も付け加えることにより、その調査・アンケートの編集等に時間がかかり、発注開始が遅れた。さらに、平成27年8月に行ったプレテストの結果を受けて修正が発生した。プレテストの結果、IWPのアンケート設問の修正が発生した。また、当初よりもデータ取得及び分析に時間がかかることも判明し、その処理の検討を行い、本発注に臨んだため当初予定よりも遅延した。
|
Expenditure Plan for Carryover Budget |
今期については、学会発表も既に2つ予定されており、海外での発表も予定していることから未消化分は消化される予定である。
|