2015 Fiscal Year Annual Research Report
メタ認知タスクを用いたヒューマンコンピュテーションの品質制御
| Project/Area Number |
15H02782
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
小山 聡 北海道大学, 情報科学研究科, 准教授 (30346100)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
櫻井 祐子 九州大学, システム情報科学研究科(研究院, 准教授 (10396137)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 人工知能 / 認知科学 / エージェント |
|---|
| Outline of Annual Research Achievements |
計算機だけでは十分な性能を得ることが難しく人間の認識や判断等を必要とするような課題に対し、人間を計算資源の一部として捉えることによって、計算機と人間の両者の力を組み合せてこれを解決するヒューマンコンピュテーションの枠組みが注目されている。本研究では、ヒューマンコンピュテーションにおいて人間の高度な認知能力と計算機の高速かつ高精度な計算能力を活用した品質制御機構の開発を目指している。ヒューマンコンピュテーションでは人間を構成要素として含むため、ワーカにとって理解が容易なタスクデザインやユーザインタフェース、適切なインセンティブを与える報酬メカニズム、誤りや誤差を吸収できる統計的手法などの開発が必要である。本年度は、ヒューマンコンピュテーションで採用される様々な種類のタスクにおいて、その有用性や、研究目的でのデータの利用可能性、ワーカからの正解の秘匿性などについての観点から検討を行った。タスクには短時間で終了するものから、ある程度の時間が必要なものまで存在する。前者としては、気温や為替の予測など、タスク実行時点ではだれにも正解が分からず、その後に正解が一意に確定するタスクを選定し、タスクのインタフェースや報酬メカニズムについて検証した。後者としては、需要が多く、人間の高度な認知能力を必要こと、サンプルデータに対する入出力を比較することでワーカの結果の自動検証がある程度可能であることから、計算機プログラミングを選定した。タスクの難易度や結果に関する確信度を入力するインタフェースを設計してクラウドソーシング市場にタスクを投入し、確信度判断と正解率の間の一致度について分析を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度の主な目標であったターゲットとするドメインの選定と、基本的なタスクデザイン、ユーザインタフェース、報酬メカニズムなどの検証を行うことができ、次の段階に研究を進めることができるため。
|
| Strategy for Future Research Activity |
計算機プログラミングなどの時間がかかるタスクでは、作業結果の正確さだけではなく、作業にかかる時間も品質制御において考慮する必要がある。ワーカに作業開始前に完了までにかかる時間を予測させ、実際の作業時間と比較を行うことで予測精度を検証する。また、ヒューマンコンピュテーションにおけるワーカやタスクは独立ではなく、相互に依存関係がある場合があるため、ワーカ間やタスク間、さらにワーカとタスクの間の依存関係を考慮したワーカ評価、タスク割り当て方式の検討を行う。
|
Research Products
(4 results)
-
-
[Presentation] Flexible Reward Plans for Crowdsourced Tasks2015
Author(s)
Yuko Sakurai, Masato Shinoda, Satoshi Oyama, Makoto Yokoo
Organizer
18th International Conference on Principles and Practice of Multi-Agent Systems (PRIMA 2015)
Place of Presentation
Bertinoro, Italy
Year and Date
2015-10-26 – 2015-10-30
Int'l Joint Research
-
-
