Proposal of an item generation method using large language model for the development of psychological scales based on item response theory

• Project/Area Number: 25K06740
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 10020:Educational psychology-related
• Research Institution: Tohoku University
• Principal Investigator: 久保 沙織 東北大学, 教育学研究科, 准教授 (70631943)
• Co-Investigator(Kenkyū-buntansha): 秋山 隆 関西大学, 社会学部, 准教授 (80757253)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2027: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2025: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 尺度開発 / 項目反応理論 / 大規模言語モデル / AI

Outline of Research at the Start

IRTに基づく尺度開発には多くの利点があるにもかかわらず，心理学研究における尺度の開発では古典的テスト理論に基づき因子分析を用いた方法が未だ主流であり，IRTの利用が十分に普及しているとは言い難い。
本研究では，IRTによる尺度開発支援のため，LLMを利用した項目生成の方法を提案することを目的とする。具体的には，入力情報として，IRTモデルの適用によりあらかじめ項目母数が推定されている項目群とその推定値，測定精度を評価するためのテスト情報関数などをLLMに与えて学習させ，そのモデルを用いて所与の項目母数の値をもつ項目を生成するという手順で，新規項目を作成する方法について検討する。