2020 Fiscal Year Annual Research Report
Research on large-scale creative work by cooperation in crowdsourcing
| Project/Area Number |
19H04218
|
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
鈴木 優 岐阜大学, 工学部, 准教授 (40388111)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
灘本 明代 甲南大学, 知能情報学部, 教授 (30359103)
波多野 賢治 同志社大学, 文化情報学部, 教授 (80314532)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | クラウドソーシング / Web / 作業者 / 品質 |
|---|
| Outline of Annual Research Achievements |
本年度は，クラウドソーシング基盤となるWebアプリケーションの構築を行い，作業および作業者の品質の測定を行った．複数の作業者により作業を行い，作業品質の測定を行った．
作業品質測定の方法として，実際に5,000件程度のツイートを用意し，感情推定を行うことができるかどうかについての評価実験を行った．作業依頼者として我々により作業を行い，作業者による作業と比較することにより，似た結果を得ることができるかどうかの評価を行ったが，40%程度しか一致せず，作業者の品質が十分ではないことが分かった．そこで，高品質な作業者だけにより多数決を行うことが可能となれば，作業結果の品質を向上させることができると考えた．ところが，これを実現するためには高品質な作業者を特定し，その作業者に大量の作業を行ってもらう必要があり，現実的ではない．そこで，高品質な作業者だけを対象とした分類器を構築し，作業者の作業を模倣させる方法を用いた．
まず，作業者の作業品質を測定した．他の作業者と似た作業を行うことができる作業者は品質が高いという仮定をおき，高品質な作業者を特定した．次に，特定された高品質な作業者を模倣する分類器を機械学習により構築した．具体的には，分散表現による分類であるfastText，およびニューラルネットワークにおける転移学習の一つであるBERTを用いた．特定の作業者の作業結果の一部を入力として分類器を構築し，作業者の作業を模倣可能であることを確かめた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
新型コロナウィルスの影響により作業者を集めることが困難となり，対面による作業を行うことができず，作業構築が難航した．そのため，研究期間の延長を行い，当初の予定通りの進捗を得ることができた．
|
| Strategy for Future Research Activity |
今後は，本研究におけるタスク型クラウドソーシングにおける高品質化を目指すと共に，本研究の主となるターゲットである大規模創造型クラウドソーシングを行うシステム構築を進める．
|
