2023 Fiscal Year Research-status Report

Detecting Inappropriate Respondents in Web Surveys by Machine Learning - Deletion Criteria, Correction Methods, and Prevention

Research Project

Project/Area Number	23K02859
Research Institution	University of Tsukuba
Principal Investigator	尾崎幸謙筑波大学, ビジネスサイエンス系, 教授 (50574612)
Co-Investigator(Kenkyū-buntansha)	増田真也慶應義塾大学, 看護医療学部(藤沢), 教授 (80291285)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	Web調査 / 機械学習 / 不注意回答者 / 不適切回答者 / 指示項目
Outline of Annual Research Achievements	Web調査は学術調査のみならず市場調査等でも広く使われているが，調査票に真面目に回答しない不注意回答者（不適切回答者）が回答データに多く含まれていることが知られている。本研究はWeb調査における不注意回答者を機械学習により検知し，除外（および結果の補正）方法や予防方法を考案することを目的とするものである。本研究における3つの目的のうちの2つは具体的には以下である。目的①：機械学習が求めた確率に対して回答者を残す（除外する）客観的基準を設けること。目的②：除外される回答者の傾向を調べ，データ分析結果の補正方法を提案すること。つまり，2つの目的ともに不注意回答者の除外が大きなテーマとなっている。 2023年度は機械学習による不注意回答者検知をテーマとする"Detecting inattentive respondents by machine learning - a generic technique that substitutes for the directed questions scale and compensates for its shortcomings"というタイトルの論文をBehavior Research Methods誌（2022年のimpact factor=5.4）に投稿し，2023年3月に採択された。したがって，本研究における重要な基盤が整備されたことを意味する。上記論文は指示項目という手法によって検出された不注意回答者を，調査票への回答時間や調査票の長さや，リッカート尺度項目への回答結果などから検知する方法を構築したものである。この方法は不自然な項目である指示項目を代替する可能性を持っている。さらに，この方法の特徴はリッカート尺度を含む回答時間が得られている任意の調査票に適用できることにある。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究実績の概要で述べたように，Behavior Research Methods誌に投稿した論文が採択されたことで本研究の基盤が整ったことは研究における重要な進展といえる。2024年度に目的①と目的②に取り組む準備が整ったといえるため上記区分とした。
Strategy for Future Research Activity	目的①については，過去に収集した調査データに対してShap分析を行い，不注意回答者とされる理由を数値化する。数値化された理由に関して除外が妥当と思われる基準を設ける。また，不注意回答者のデータ全体を削除するのではなく，一部を削除する方法の提案も行う。目的②については，過去の調査への回答者に対してパーソナリティのBig Five尺度を含む調査を実施して，不注意回答とパーソナリティの関係を調べる。さらに，除外される傾向の強いパーソナリティを特定したうえで，分析結果の補正方法を考案する。目的③は「動画で調査概要を説明することが回答者の調査への関心を高め，不適切回答の防止につながるか調べること」である。まずどのような調査内容の調査にするのか，どのような実験計画を組むのかといった大枠について2024年度は考えていく。
Causes of Carryover	Behavior Research Methods誌に投稿した論文の採択を待ってから，研究上必要な調査を実施することを考えていたため。2023年3月に論文は採択されたため，翌年度分として請求した助成金とあわせて一定規模のWeb調査を実施して，より頑健な知見を得る。