• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Development of evaluation standards and its testing environment for questioning abilities

Research Project

Project/Area Number 19H05490
Allocation TypeSingle-year Grants
Research InstitutionHokkaido University

Principal Investigator

池田 文人  北海道大学, 高等教育推進機構, 教授 (60333647)

Co-Investigator(Kenkyū-buntansha) 鈴木 誠  北海道大学, 高等教育推進機構, 教授 (60322856)
飯田 直弘  北海道大学, 高等教育推進機構, 准教授 (80578063)
岩間 徳兼  北海道大学, 高等教育推進機構, 准教授 (70608900)
Project Period (FY) 2019-06-28 – 2022-03-31
Keywords質問力 / コンピテンス / 深層学習 / 人材評価 / 非認知能力 / 多面的総合的評価
Outline of Annual Research Achievements

質問を収集するためのWebサイトを開発し、約10名の大学生を対象に試験的に質問を収集し、質問内容に応じた分類を行なった。また、社会人を対象とした質問力調査を実施し、約千名から約5千件の質問データを回収し、不良データの削除と修正を行なった。これらの質問は、人によって多面的かつ複合的に評価し、その評価データと元の質問データの対を、コンピュータによって深層学習させる。この深層学習の結果が質問評価アルゴリズムとなるため、良質かつ大量の質問データの収集は本研究の核である。また、質問評価アルゴリズムの精度を向上させるためには、さらに学習データとなる質問を収集する必要があり、その収集方法の検証としても意義のあるものである。また、質問を人により多面的かつ複合的に評価するために、質的データ分析のためのソフトウェアと大型モニタを購入し、環境整備を図った。これらの環境は、試験的に収集した本学学生約10名分の質問の分析に活用することができ、質問評価のノウハウを蓄積することができた。さらに、次年度に開発する予定の質問評価アルゴリズムの統計的検証に必要な統計解析のための環境を整備するとともに、質問力を含めた多様な能力や資質に関する書籍や文献を整備することができた。一方、質問力は文字だけでは十分に評価することができず、特に対人能力やコミュニケーション力を見るためには、質問に伴う身振り手振り、態度、表情、声色なども重要な手がかりとなる。このような情報を得るために、音声や映像を記録し分析するための環境も整備した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は、収集した質問の評価と分析まで着手する予定であったが、そこまでできたのは試験的に本学学生から集めた100件弱の質問だけであった。当初、社会人を対象とした大規模な調査を1月末予定していたが、新型コロナウィルスの影響で実施が遅れ、3月中旬から短期間での実施となったものの、当初の予定通り社会人約千名分の質問データを収集することができた。ただし、短期間での実施であったため、質問データの質にばらつきが大きく、精査する必要ある。次年度はこの精査の作業を経て、人による質問の評価データの取得から開始する。引き続き新型コロナウィルスの影響が懸念されるが、研究の核となる質問は十分に得られたと判断できることから、次年度の目標である質問評価アルゴリズムの開発と精度の向上は、計画通りに遂行できる見通しである。

Strategy for Future Research Activity

次年度は、今年度に収集した約千名の社会人の質問データの精査と人による多面的かつ複合的な評価から実施する。この評価データをAIにより深層学習させることにより、質問評価アルゴリズムを開発する。開発したアルゴリズムは異なる質問データを用いて評価し、その評価結果を人が判断してアルゴリズムにフィードバックすることで精度を向上させていく。こうした精度向上のための質問データを新規に収集するか、それとも今年度に収集した質問をいくつかに分けて最初のアルゴリズムとその後の精度向上に使うかは、収集した質問の精査によって判断する必要がある。精査により複数回分の質問データがなく、新規に収集する必要が生じたとしても、今年度に開発した質問力調査のWebシステムと社会人調査の手法を活用することにより、円滑に質問データを収集できる。
最終年度は、全国的な小中高大社におよび質問力検定を実施するともに、他の試験等のデータと比較分析することにより、
質問傾向とコンピテンスとの相関を割り出し、質問からコンピンテスを評価できる質問力評価プログラムを開発する。こうした全国規模の調査は、今年度に実施した大規模な社会人調査の知見を活用すること可能である。また次年度に開発する質問評価アルゴリズムに、コンピテンスを関係付けることにより質問力評価プログラムへと昇華させることが可能である。
以上から、今年度は多少の遅れがあるものの、研究期間中に予定している研究目標を十分に達成できる見込みである。

  • Research Products

    (3 results)

All 2020

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (1 results)

  • [Journal Article] フロンティア人材評価システムー主体性を含む学力3要素のコンピテンシーに基づく多面的・総合的評価ー2020

    • Author(s)
      池田文人、岩間徳兼、飯田直弘、橋村正悟郎、鈴木誠
    • Journal Title

      大学入試研究ジャーナル

      Volume: 30 Pages: 186-191

    • Peer Reviewed
  • [Journal Article] 高校・大学・社会を繋ぐ追跡調査のためのコンピテンシー・テスト問題の開発2020

    • Author(s)
      池田文人、岩間徳兼、飯田直弘、鈴木誠
    • Journal Title

      高等教育ジャーナルー高等教育と生涯学習ー

      Volume: 27 Pages: 27-43

    • Peer Reviewed
  • [Presentation] 受験者の質問から何が評価できるか?ー学力の3要素のための質問力評価方法の開発を目指してー2020

    • Author(s)
      池田文人、岩間徳兼、飯田直弘
    • Organizer
      全国大学入学者選抜研究連絡協議会

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi