2018 Fiscal Year Research-status Report
クラウドソーシングによる専門的判断支援のための機械学習法
| Project/Area Number |
18K18105
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
馬場 雪乃 筑波大学, システム情報系, 准教授 (40711453)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | ヒューマンコンピュテーション / クラウドソーシング |
|---|
| Outline of Annual Research Achievements |
(1) 実社会の様々なドメインにおいて機械学習活用が進み、専門家による判断を機械学習を用いて自動化したいという需要が高まりつつある。機械学習モデルの構築のために、専門家による判断結果を大量に収集し正解データとして用いる必要があるが、そもそも専門家間での合意形成が困難な場合がある。当該年度は、専門家の合意形成支援のための機械学習法の開発を実施した。特に複数の専門家が一対比較によりアイテムの良し悪しを評価し、それを集約してアイテムのランキングを獲得する場合に、評価観点の違いを考慮した上でアイテムの良さを推定する手法を開発した。専門家ごとに評価観点は異なるが、評価観点を明示的に表明させることは難しい。各専門家が実施した一対比較の結果から、その裏にある各自の評価観点を推定し、ランキング集約に役立てる。提案法を用いることで評価観点ごとのランキングの可視化ができ、評価観点別の上位アイテムの比較を容易にし、特にアイテムが多数ある場合に専門家間の合意形成を効率化する。デザインの評価を題材した実験で、提案法により、評価観点ごとのランキングを精度良く推定できることを確認した。
(2) また当該年度は、学習環境における生徒の習熟度評価を対象にした研究も実施した。専門家である教師の負荷を減らすために、生徒が教師の代わりに互いの成果物を採点・添削する状況で、生徒の習熟度を推定する手法を開発した。生徒の中には、教師のように成果物を正しく評価できる人もいれば、評価が上手くできない人もいる。採点と添削の一貫性等を利用して、生徒の「評価者としての信頼性」を推定し、習熟度推定に用いる。日英翻訳の採点・添削を題材にした実験により、提案法により、教師に匹敵する精度で、習熟度の高い精度と低い生徒を識別できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績(1) については国際会議への投稿に至った。(2)については、教育データマイニングのトップ国際会議EDMに採択されるに至り、当初の計画通り順調に進展している。
|
| Strategy for Future Research Activity |
2018年度は、主に一対比較や採点といった「評価」を対象として研究を進めた。最終年度となる2019年度は、より応用範囲の広い「分類」を対象にして、非専門家であっても専門家と同様の判断ができるような支援法の開発を進める。
|
| Causes of Carryover |
独立形成基盤経費により研究室の什器整備を行う予定であったが、研究室割り当ての都合で一部の整備を次年度に行う必要が生じた。次年度使用額は、次年度の研究室整備に利用する。
|
