機械学習によるWeb調査の不適切回答者検知ー削除基準・補正方法・予防ー

研究課題

研究課題/領域番号	23K02859
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分10020:教育心理学関連
研究機関	筑波大学
研究代表者	尾崎幸謙筑波大学, ビジネスサイエンス系, 教授 (50574612)
研究分担者	増田真也慶應義塾大学, 看護医療学部(藤沢), 教授 (80291285)
研究期間 (年度)	2023-04-01 – 2026-03-31
研究課題ステータス	交付 (2023年度)
配分額 *注記	4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円) 2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円) 2024年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円) 2023年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
キーワード	Web調査 / 機械学習 / 不注意回答者 / 不適切回答者 / 指示項目
研究開始時の研究の概要	Web調査は学術調査・市場調査等で広く社会で使われている。一方で，Web調査には調査項目を適切に読まずに回答する不注意回答者が一定程度存在することが知られており，この存在のためにデータ分析結果が毀損されている。本研究は，不適切回答者を除外する方法や除外後の結果を補正する方法を，研究代表者が開発した機械学習による方法をベースとして開発し，さらに，調査概要の動画説明による不適切回答予防効果も検証する。
研究実績の概要	Web調査は学術調査のみならず市場調査等でも広く使われているが，調査票に真面目に回答しない不注意回答者（不適切回答者）が回答データに多く含まれていることが知られている。本研究はWeb調査における不注意回答者を機械学習により検知し，除外（および結果の補正）方法や予防方法を考案することを目的とするものである。本研究における3つの目的のうちの2つは具体的には以下である。目的①：機械学習が求めた確率に対して回答者を残す（除外する）客観的基準を設けること。目的②：除外される回答者の傾向を調べ，データ分析結果の補正方法を提案すること。つまり，2つの目的ともに不注意回答者の除外が大きなテーマとなっている。 2023年度は機械学習による不注意回答者検知をテーマとする"Detecting inattentive respondents by machine learning - a generic technique that substitutes for the directed questions scale and compensates for its shortcomings"というタイトルの論文をBehavior Research Methods誌（2022年のimpact factor=5.4）に投稿し，2023年3月に採択された。したがって，本研究における重要な基盤が整備されたことを意味する。上記論文は指示項目という手法によって検出された不注意回答者を，調査票への回答時間や調査票の長さや，リッカート尺度項目への回答結果などから検知する方法を構築したものである。この方法は不自然な項目である指示項目を代替する可能性を持っている。さらに，この方法の特徴はリッカート尺度を含む回答時間が得られている任意の調査票に適用できることにある。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由研究実績の概要で述べたように，Behavior Research Methods誌に投稿した論文が採択されたことで本研究の基盤が整ったことは研究における重要な進展といえる。2024年度に目的①と目的②に取り組む準備が整ったといえるため上記区分とした。
今後の研究の推進方策	目的①については，過去に収集した調査データに対してShap分析を行い，不注意回答者とされる理由を数値化する。数値化された理由に関して除外が妥当と思われる基準を設ける。また，不注意回答者のデータ全体を削除するのではなく，一部を削除する方法の提案も行う。目的②については，過去の調査への回答者に対してパーソナリティのBig Five尺度を含む調査を実施して，不注意回答とパーソナリティの関係を調べる。さらに，除外される傾向の強いパーソナリティを特定したうえで，分析結果の補正方法を考案する。目的③は「動画で調査概要を説明することが回答者の調査への関心を高め，不適切回答の防止につながるか調べること」である。まずどのような調査内容の調査にするのか，どのような実験計画を組むのかといった大枠について2024年度は考えていく。