Development of a survey analysis method considering the reliability of respondents and question items in web-based surveys

2023 Fiscal Year Research-status Report

• Project/Area Number: 22K01634
• Research Institution: Gakushuin University
• Principal Investigator: 河合 亜矢子 学習院大学, 経済学部, 教授 (00580432)
• Co-Investigator(Kenkyū-buntansha): 白井 康之 大東文化大学, 経営学部, 教授 (20597512) ; 森田 裕之 大阪公立大学, 大学院情報学研究科, 教授 (80295732) ; 後藤 裕介 芝浦工業大学, システム理工学部, 准教授 (40454037)
• Project Period (FY): 2022-04-01 – 2026-03-31
• Keywords: Webアンケート / 信頼性 / HITSアルゴリズム / Satisfice

Outline of Annual Research Achievements

本年度は、Web調査において回答者と質問項目の信頼性を考慮したアンケート分析を行うため、HITS (HypertextInduced Topic Selection) アルゴリズムを応用した方法の開発を行なった。この手法では、回答者と質問項目の信頼性をそれぞれの相互作用の再帰的な収束値として定義する。噛み砕いて説明すると、信頼性の高い回答者は信頼性の高い質問項目に信頼性の高い回答をし、信頼性の高い質問項目に信頼性の高い回答をしている回答者は信頼性が高い、ということを再帰的に計算し、最終的な信頼度を数値化するのである。このアルゴリズムの適用には適切な初期値の設定が必要となる。この初期値として複数パターンについて計算機実験を行い、評価者の価値観によってこれらの初期値パターンを使い分けられる効果的な分析方法論について考察を行なった。一般的にアンケート分析を行う際、Satisficeと呼ばれる、好ましからざる回答行動の発生しているデータの影響を取り除くためには、こうしたデータを異常値として取り除く必要があるが、我々の開発した方法はこうしたデータにもそれなりの意味を持たせながら分析に取り込むことができる。
さらに国立情報学研究所の情報学研究データリポジトリ (IDR データ提供サービス) で公開されているオリコンデータセットに開発した分析手法を適用し、アンケート分析を行なった。分析の結果を丁寧に意味解釈し、開発した手法の妥当性を考察した。また複数サービスの顧客満足度調査データを分析し、サービス特性と信頼度との間に密接な関連性があるという大変興味深い結果を得た。
ここまでの研究結果を論文化、投稿し、24年度夏に開催される国際会議で発表する準備を行なった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

アンケート分析手法の開発が順調に進展し、また研究成果を公表するための論文化も行なった。投稿した国際会議にもアクセプトされ、24年度夏に発表機会を得られることも確定している。

Strategy for Future Research Activity

本研究では、信頼できる質問項目に対して平均的な回答をより多くしている回答者の信頼度が高い、ならびにその逆も成り立つ、という全体に基づいて計算を行っているが、信頼性の高い回答結果が多峰性を持つような質問に対してこの手法をそのまま適用することができない。したがってこうした課題に対するする解決策を考える必要性がある。また、質問項目の多さなど、元となるアンケート自体にもSatisficeの発生しやすい条件があるので、信頼度の高い回答を得やすいアンケート設計についても考える必要がある。したがって今後は分析手法についての課題を解決することに加え、アンケートの設計についても研究を推進する。

Causes of Carryover

研究計画で2023年度に旅費とウェブ調査の予算を計上していたが、2023年は手法開発と論文執筆が主な活動となったため、次年度使用額が生じた。2024年に国際会議での発表のための旅費と、ウェブ調査のための調査費を使用する計画である。