2023 Fiscal Year Research-status Report
Clarification of Actual Conditions of Satisficing in Web Surveys Incorporating Psychological Experiments
| Project/Area Number |
22K01850
|
|---|
| Research Institution | Seijo University |
|---|
Principal Investigator |
稲垣 佑典 成城大学, 社会イノベーション学部, 准教授 (30734503)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
前田 忠彦 統計数理研究所, データ科学研究系, 准教授 (10247257)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | Satisfice / 不適切回答検知 / Web調査 / オンライン実験 |
|---|
| Outline of Annual Research Achievements |
本研究課題における2023年度の主たる研究実績は下記の通りである。
1.2022年度に実施した不適切回答検知項目を導入したWeb調査のデータを用いて、不適切回答と回答時間パターンに関する研究を実施した。当該研究の結果は年報論文としてhttps://www.seijo.ac.jp/education/support/cds3/annual-report/jtmo420000018pih-att/a1710144714010.pdfにて公開した。
2.昨年度に引き続き、クラウドソーシングサービスを通じて被験者を集め、特定のニューストピックについてコメントとリアクションをしてもらう実験を実施した。そこでは、被験者の属性を尋ねる調査票システムが設けられており、IMC（Instructional Manipulatoion Check）と呼ばれる教示に従った回答行動が行われているか判別する仕組みが導入されていた。このデータを用いて実験用掲示板における書き込み頻度・リアクション頻度などの変数との間で不適切回答行動をとった者に特有の行動傾向あるか、統計分析を実施した。分析は現在も進行途中であるが、IM教示違反者と性格特性の「開放性」の間に関連が存在することが、2022年度データの分析結果と同様に確認できた。
3.これまで開発した不適切回答行動検知のための仕組みの頑健性を確認するため、これまでとは異なる調査テーマ（ゲノム編集技術の応用が主題）のWeb調査を2024年2月に実施した。そこでは、上述の項目に加えて調査回答者の選好を分析するための項目（「評定型コンジョイント分析項目」および「選択型コンジョイント分析項目」）を備えており、2022年度の調査と比較検討が可能となっている。現在、次年度研究に備えてデータクリーニングと変数作成作業が進行中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の2023年度計画は、2022年度に実施した予備調査の結果を踏まえて本調査・実験を実施し、Web調査および実験における不適切回答検知の仕組みを開発・整備するというものであった。当該計画に対して、予定通り本調査と実験を遂行することができた。本調査・実験で取得したデータは、クリーニングや統計分析に使用するための変数作成作業中であり、現在は基礎統計量の算出や簡易な統計分析を実施することで、全体の特徴把握を行っているところである。これまでの大まかな傾向としては、公募型のWeb調査を通じて得られたデータの３割程度に、何らかの不適切回答の痕跡が見られることが示された。上記については、さらなる分析を通じて詳細を明らかにしていく必要がある。さらに調査・実験で取得したデータには、自由記述や（実験に用いた）掲示板システムに書き込まれたテキストといった非定型データも存在している。これらは今後の分析に備えて、不適切回答検知項目との関連を探る分析を行うための前処理を施している段階にある。
なお、昨年度取得した調査データを用いたいくつかの研究成果に関しては、各種学会ならびに学術雑誌・大学年報で公開することができた。引き続き研究の成果については、学会発表と論文投稿を通じて公表していく予定である。また、研究成果発表を通じて、関連分野の研究者とも知己を得ることができた。以降は、それら関連分野の研究者や研究分担者との間で分析方針など議論を重ねるとともに、新規の調査計画を立てるなどして、新たな知見の導出を目指して研究を継続していきたい。以上のことから、総合的に見て本研究課題の進捗状況は、おおむね順調に進展していると評価することが妥当であると考えられる。
|
| Strategy for Future Research Activity |
過去2年で予備調査・実験と本調査・実験のデータを取得することができた。これらのデータをハーモナイズすることで調査間の比較を行い、これまでに実施してきた分析結果の確認と不適切回答検知項目の頑健性についての検証を行う予定である。後者の不適切回答検知のための仕組みが十分に機能しているか検証するにあたり、従来の統計モデルによる分析に加えて、機械学習の技法も積極的に採用する。具体的には、予備調査データを訓練データ（および検証データ）として、機械学習モデル（不適切回答者に関する教師あり学習）の構築とパラメータ調整を行い、そのうえで本調査データをテストデータとして用いて、モデルの精度ならびに不適切回答検知項目の評価を試みることを計画している。
また、進捗報告の項にて記載した通り、本研究課題と密接に関係する研究を実施している研究者と知己を得た。それに伴い現在は、新たに共同でWeb調査を実施することについての議論が行われている。本研究課題で考案した不適切検知の仕組みには、その存在が明示的なものと外的判別が困難な論理的整合性をもって判別する形式のものがある。これらの中間的な技法が前述の研究者グループによって提案されており、プリテストが実施されてきた。そこで、これまで開発してきた技法をまとめて調査に盛り込み、有効性の検証をするべく新規調査を実施することが現在検討されている。今後は密に情報交換を行いつつ相互の知見を共有し、新規調査の実現に向けた具体的な段取りを進めていくことになる。
本研究課題は上述した既存データの詳細な分析による知見の導出と、新規調査の実施という2つを念頭に置きながら今年度の計画を推進する予定である。
|
| Causes of Carryover |
2022年度の研究費に持ち越し分が生じたことで、当初、日本と外国の間での国際比較調査を視野に入れた不適切回答検知項目の検証を目的とするWeb調査の実施を計画していた。しかしながら専門調査会社に調査費用の見積を依頼したところ、円安の影響もあり国際比較調査を実施するには費用的問題があることが判明した。そのため、国内調査に限定した調査計画を進めていたところ、過去に共同調査を実施した名古屋大学の立川雅司教授が推進する研究プロジェクトとの間で、調査項目を折半した乗り合い調査形式での実施計画が浮上した。これに伴い予定を再修正して調査を実施したところ、若干の費用軽減が図られたため、当初予定であった研究費に残額が生じた。この残額を含めた研究費は、今後の推進方策の項で言及したように研究関心を共にする研究者との間で共同の新規調査を実施する目的で使用する予定である。
|
