• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

メタ認知タスクを用いたヒューマンコンピュテーションの品質制御

Research Project

Project/Area Number 15H02782
Research InstitutionHokkaido University

Principal Investigator

小山 聡  北海道大学, 情報科学研究科, 准教授 (30346100)

Co-Investigator(Kenkyū-buntansha) 櫻井 祐子  九州大学, システム情報科学研究院, 准教授 (10396137)
Project Period (FY) 2015-04-01 – 2018-03-31
Keywords人工知能 / 認知科学 / エージェント
Outline of Annual Research Achievements

商品やサービス,論文などを評価する主観的なタスクにおいて,複数の評価者の結果を集約して最終的な評価を行う際に,評価者によって重視する観点や専門性,確信度が異なるため,単純平均を行うことが適しているとは限らない.そこで,総合評価値以外に,複数の補助的なスコアが付与された多基準評価データにおいて,評価値の集約を行う方法を研究した.その際,集約後の評価値を与える仮想的な評価者を想定して情報推薦アルゴリズムを適用し,その評価者の未評価の対象への評価値を計算することで,評価値の集約を実現する方法を提案した.ホテルに対する多基準評価データを用いて,異なる構成要素からなる情報推薦アルゴリズムを適用し比較評価を行った.また,ヒューマンコンピュテーションにおいて,作業者に適切なインセンティブを与えるためには,作業者の貢献を適切に評価する方法が必要である.しかし,複数の作業者の結果を集約して最終的な結果を導出した場合,個々の作業者の貢献度を計算する方法は自明ではない.対象に自然言語でラベルを付ける場合のように,必ずしも一意に正解が定まらないタスクにおいて,作業者のラベルによってもたらされる情報利得を用いて貢献度を評価する方法について研究した.また,回帰分析において,依存関係のある変数の間で寄与度を分配するShapley値回帰の考え方に基づき,各作業者の結果の最終的な結果への貢献度を計算する方法を考案した.貢献度の計算量は,作業者の数が大きくなるにつれて増大するため,同じタスクを行った作業者間をリンクしたコラボレーショングラフを連結成分分解することで計算量を削減する方法を考案し,Web検索結果に対する評価データを用いた実験を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ヒューマンコンピュテーションは比較的新しい研究分野であるが,様々な関連分野を調査し,その知見を組み合わせることで問題解決を行う,分野横断的なアプローチが確立できつつある.また,実世界の興味深い問題やデータへの目標設定を行うことができ,提案手法の実装,実験を行う段階まで進んでいる.

Strategy for Future Research Activity

これまでに提案してきた品質制御アルゴリズムを,より多様な形式のタスクに適用できるように拡張を試みる.人間の心理的特性を考慮したヒューマンコンピュテーションのインタフェースおよびメカニズムの研究を推進する.研究補助者を継続的に雇用することで,研究の一層の加速を実現する.

  • Research Products

    (6 results)

All 2017 2016

All Presentation (6 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Presentation] 作業者の「自信」を用いたクラウドソーシングの品質制御2017

    • Author(s)
      小山 聡
    • Organizer
      第1回情報,通信,知識技術に関するシンポジウム
    • Place of Presentation
      兵庫県淡路市 淡路夢舞台国際会議場
    • Year and Date
      2017-02-18 – 2017-02-19
  • [Presentation] Crowdsourced Semantic Matching of Multi-Label Annotations2016

    • Author(s)
      Lei Duan, Satoshi Oyama, Masahito Kurihara, Haruhiko Sato
    • Organizer
      NIPS 2016 Workshop on Crowdsourcing and Machine Learning
    • Place of Presentation
      Barcelona, Spain
    • Year and Date
      2016-12-09 – 2016-12-09
    • Int'l Joint Research
  • [Presentation] Quality Control for Crowdsourced Multi-Label Annotation2016

    • Author(s)
      Satoshi Oyama
    • Organizer
      11th Korea-Japan Database Workshop
    • Place of Presentation
      Daegu, South Korea
    • Year and Date
      2016-11-18 – 2016-11-21
    • Int'l Joint Research / Invited
  • [Presentation] ヒューマンコンピュテーションにおける品質制御とワーカ評価について2016

    • Author(s)
      小山 聡
    • Organizer
      第22回AI知識交流研究会
    • Place of Presentation
      群馬県利根郡みなかみ町 辰巳館
    • Year and Date
      2016-07-30 – 2016-07-31
  • [Presentation] シャプレイ値に基づくクラウドワーカの能力推定2016

    • Author(s)
      櫻井 祐子, 小山 聡
    • Organizer
      2016年度人工知能学会全国大会
    • Place of Presentation
      福岡県北九州市 北九州国際会議場
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] Aggregating Crowd Opinions Using the Shapley Value Regression2016

    • Author(s)
      Yuko Sakurai, Satoshi Oyama
    • Organizer
      Collective Intelligence 2016
    • Place of Presentation
      New York, NY, USA
    • Year and Date
      2016-06-01 – 2016-06-03
    • Int'l Joint Research

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi