Research on large-scale creative work by cooperation in crowdsourcing
| Project/Area Number |
19H04218
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
鈴木 優 岐阜大学, 工学部, 准教授 (40388111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
灘本 明代 甲南大学, 知能情報学部, 教授 (30359103)
波多野 賢治 同志社大学, 文化情報学部, 教授 (80314532)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2022: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2021: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2020: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2019: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
|
|---|
| Keywords | クラウドソーシング / 協調作業 / Webサービス / CSCW / 情報の品質 / 作業者 / Webアプリケーション / RDBMS / Web / 品質 / データベース / Twitter / NoSQL |
|---|
| Outline of Research at the Start |
本研究ではクラウドソーシングにおいて創造的な作業を大規模に行う際など，協調的作業において高品質な作業結果を得るための作業環境を構築することを目的とする．この作業環境は，制作物の正解を事前に定めることができない状況で利用可能である点，低品質な作業者を再教育する点が特徴である．例えば，短編創作小説を多人数の作業者で協調して作成することを考える．このとき，まず作業者の客観的および主観的な特徴を機械学習アルゴリズムに入力し，作業者の品質を推定する．また，この結果から他の作業者により作業結果の品質を向上させる方法を示す．
|
| Outline of Annual Research Achievements |
今年度は，前年度に構築したWebアプリケーションの改良を行い，一つのタスクに対して複数の作業者が作業を行った際の合意形成過程について明らかにした．
作業者は多ければ多いほど，不適切な作業者の特定は容易になる．ところが，作業者を増やすことはコスト増大につながり，現実的な費用での作業が困難となる．そこで，機械学習により作業者を模倣するモデルを構築することができないかどうか，それにより作業者の品質測定が可能かどうかを調査した．
まず作業者ごとに，作業結果を模倣する機械学習モデルを構築する方法についての研究を行った．実データを利用して実験を行った．この実験では，全ての作業者による作業結果を入力としたモデルを構築し，一人の作業者の作業結果によりファインチューニングを行う方法（方法1）と，一人の作業者の作業結果だけを用いる方法（方法2）を比較した．この結果，予想に反して方法2の精度が方法1と比べ高いことが明らかになった．これは，作業者により特徴的な作業結果がファインチューニングによる方法では失われてしまうためである．
また，ここで構築した機械学習モデルと実際の作業を併用し，作業者の品質を測定する方法を構築した．その結果，実際の作業だけを使った場合と比較して，低品質な作業者の特定に関して精度が向上することが確認できた．
さらに，機械学習モデルとしてマルチタスク学習を用いる方法についての研究を行った．これは，入力と出力が対となっている通常の機械学習と異なり，一つの入力から複数のタスクを解くモデルを構築することにより，精度向上を目指す方法である．この方法を利用するためには，様々なタスクに対応する学習データが必要となり，さらにコストが増大する．そこで本研究では，マルチタスク学習に対応する学習データ構築が可能であることを確認した．さらに，構築した学習データによる機械学習モデルが精度向上に寄与することを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
評価実験の結果は予期しないものとなったが，理由なども含めて考察し，妥当であることを確認することができた．小規模な実験では問題が無いことが確認できたため，大規模実験を行う上での指針を得ることができた．
|
| Strategy for Future Research Activity |
提案手法による作業品質測定結果を，クラウドソーシングにおける作業進行にフィードバックする方法を構築する．多くの作業者による大規模な実験を行い，提案手法により作業精度が向上することを実際の実験により示す．
|
Report
(3 results)
Research Products
(14 results)
