Investigation of the reliability of data obtained with online methods: comparison of data within participants

2023 Fiscal Year Final Research Report

• Project/Area Number: 18K13290
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 10010:Social psychology-related
• Research Institution: Institute of Physical and Chemical Research (2021-2023); National Center of Neurology and Psychiatry (2018-2020)
• Principal Investigator: Lin Mingming 国立研究開発法人理化学研究所, 脳神経科学研究センター, 研究員 (90726556)
• Project Period (FY): 2018-04-01 – 2024-03-31
• Keywords: オンライン調査 / オンライン実験 / 回答の信頼性 / 性格５因子 / 紙筆版IAT

Outline of Final Research Achievements

The aim of this study is to compare the results of online methods with those obtained using traditional methods (mailed surveys, laboratory experiments) and to investigate the reliability of data obtained using online methods.　 First, we developed a paper-and-pencil implicit association test (IAT), which allowed us to assess the implicit Big Five personality trait in surveys. We then compared data on survey style between a mailed paper-and-pencil survey and a web-format survey, both of which included questionnaire items about participants' subjective anonymity with respect to survey style. In addition, we compared the results of an online experiment on attention and executive function with the results of the laboratory experiments.

Free Research Field

認知心理学

Academic Significance and Societal Importance of the Research Achievements

今日では学術研究や社会調査においてオンライン手法による実験・調査が増えてきているが，オンライン手法による回答と従来手法による回答が同質のものであるのか，オンライン手法による回答の信頼性についてはまだエビデンスが不足している。本研究で用いた同一回答者内の比較は，参加者間の特性等の違いに影響されずに，オンラインと従来手法という手法自体の違いに注目して検討することができる。また，本研究では国内外で初の性格5因子を測定する紙筆版潜在連合テストを開発した。今後より正しいデータが得られる手法が判明した場合，学術研究や社会調査のために，他方の手法の改良法を提案できる可能性があり，本研究は社会的貢献も大きい。