Detecting Inappropriate Respondents in Web Surveys by Machine Learning - Deletion Criteria, Correction Methods, and Prevention
| Project/Area Number |
23K02859
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 10020:Educational psychology-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
尾崎 幸謙 筑波大学, ビジネスサイエンス系, 教授 (50574612)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
増田 真也 慶應義塾大学, 看護医療学部(藤沢), 教授 (80291285)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2025: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | Web調査 / 機械学習 / 不注意回答者 / 不適切回答者 / 指示項目 |
|---|
| Outline of Research at the Start |
Web調査は学術調査・市場調査等で広く社会で使われている。一方で，Web調査には調査項目を適切に読まずに回答する不注意回答者が一定程度存在することが知られており，この存在のためにデータ分析結果が毀損されている。本研究は，不適切回答者を除外する方法や除外後の結果を補正する方法を，研究代表者が開発した機械学習による方法をベースとして開発し，さらに，調査概要の動画説明による不適切回答予防効果も検証する。
|
| Outline of Annual Research Achievements |
Web調査は学術調査のみならず市場調査等でも広く使われているが，調査票に真面目に回答しない不注意回答者（不適切回答者）が回答データに多く含まれていることが知られている。本研究はWeb調査における不注意回答者を機械学習により検知し，除外（および結果の補正）方法や予防方法を考案することを目的とするものである。本研究における3つの目的のうちの2つは具体的には以下である。目的①：機械学習が求めた確率に対して回答者を残す（除外する）客観的基準を設けること。目的②：除外される回答者の傾向を調べ，データ分析結果の補正方法を提案すること。つまり，2つの目的ともに不注意回答者の除外が大きなテーマとなっている。
2023年度は機械学習による不注意回答者検知をテーマとする"Detecting inattentive respondents by machine learning - a generic technique that substitutes for the directed questions scale and compensates for its shortcomings"というタイトルの論文をBehavior Research Methods誌（2022年のimpact factor=5.4）に投稿し，2023年3月に採択された。したがって，本研究における重要な基盤が整備されたことを意味する。
上記論文は指示項目という手法によって検出された不注意回答者を，調査票への回答時間や調査票の長さや，リッカート尺度項目への回答結果などから検知する方法を構築したものである。この方法は不自然な項目である指示項目を代替する可能性を持っている。さらに，この方法の特徴はリッカート尺度を含む回答時間が得られている任意の調査票に適用できることにある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べたように，Behavior Research Methods誌に投稿した論文が採択されたことで本研究の基盤が整ったことは研究における重要な進展といえる。2024年度に目的①と目的②に取り組む準備が整ったといえるため上記区分とした。
|
| Strategy for Future Research Activity |
目的①については，過去に収集した調査データに対してShap分析を行い，不注意回答者とされる理由を数値化する。数値化された理由に関して除外が妥当と思われる基準を設ける。また，不注意回答者のデータ全体を削除するのではなく，一部を削除する方法の提案も行う。
目的②については，過去の調査への回答者に対してパーソナリティのBig Five尺度を含む調査を実施して，不注意回答とパーソナリティの関係を調べる。さらに，除外される傾向の強いパーソナリティを特定したうえで，分析結果の補正方法を考案する。
目的③は「動画で調査概要を説明することが回答者の調査への関心を高め，不適切回答の防止につながるか調べること」である。まずどのような調査内容の調査にするのか，どのような実験計画を組むのかといった大枠について2024年度は考えていく。
|
Report
(1 results)
Research Products
(3 results)
