2019 Fiscal Year Annual Research Report
Development of evaluation standards and its testing environment for questioning abilities
| Project/Area Number |
19H05490
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
池田 文人 北海道大学, 高等教育推進機構, 教授 (60333647)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 誠 北海道大学, 高等教育推進機構, 教授 (60322856)
飯田 直弘 北海道大学, 高等教育推進機構, 准教授 (80578063)
岩間 徳兼 北海道大学, 高等教育推進機構, 准教授 (70608900)
|
|---|
| Project Period (FY) |
2019-06-28 – 2022-03-31
|
| Keywords | 質問力 / コンピテンス / 深層学習 / 人材評価 / 非認知能力 / 多面的総合的評価 |
|---|
| Outline of Annual Research Achievements |
質問を収集するためのWebサイトを開発し、約10名の大学生を対象に試験的に質問を収集し、質問内容に応じた分類を行なった。また、社会人を対象とした質問力調査を実施し、約千名から約5千件の質問データを回収し、不良データの削除と修正を行なった。これらの質問は、人によって多面的かつ複合的に評価し、その評価データと元の質問データの対を、コンピュータによって深層学習させる。この深層学習の結果が質問評価アルゴリズムとなるため、良質かつ大量の質問データの収集は本研究の核である。また、質問評価アルゴリズムの精度を向上させるためには、さらに学習データとなる質問を収集する必要があり、その収集方法の検証としても意義のあるものである。また、質問を人により多面的かつ複合的に評価するために、質的データ分析のためのソフトウェアと大型モニタを購入し、環境整備を図った。これらの環境は、試験的に収集した本学学生約10名分の質問の分析に活用することができ、質問評価のノウハウを蓄積することができた。さらに、次年度に開発する予定の質問評価アルゴリズムの統計的検証に必要な統計解析のための環境を整備するとともに、質問力を含めた多様な能力や資質に関する書籍や文献を整備することができた。一方、質問力は文字だけでは十分に評価することができず、特に対人能力やコミュニケーション力を見るためには、質問に伴う身振り手振り、態度、表情、声色なども重要な手がかりとなる。このような情報を得るために、音声や映像を記録し分析するための環境も整備した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、収集した質問の評価と分析まで着手する予定であったが、そこまでできたのは試験的に本学学生から集めた100件弱の質問だけであった。当初、社会人を対象とした大規模な調査を1月末予定していたが、新型コロナウィルスの影響で実施が遅れ、3月中旬から短期間での実施となったものの、当初の予定通り社会人約千名分の質問データを収集することができた。ただし、短期間での実施であったため、質問データの質にばらつきが大きく、精査する必要ある。次年度はこの精査の作業を経て、人による質問の評価データの取得から開始する。引き続き新型コロナウィルスの影響が懸念されるが、研究の核となる質問は十分に得られたと判断できることから、次年度の目標である質問評価アルゴリズムの開発と精度の向上は、計画通りに遂行できる見通しである。
|
| Strategy for Future Research Activity |
次年度は、今年度に収集した約千名の社会人の質問データの精査と人による多面的かつ複合的な評価から実施する。この評価データをAIにより深層学習させることにより、質問評価アルゴリズムを開発する。開発したアルゴリズムは異なる質問データを用いて評価し、その評価結果を人が判断してアルゴリズムにフィードバックすることで精度を向上させていく。こうした精度向上のための質問データを新規に収集するか、それとも今年度に収集した質問をいくつかに分けて最初のアルゴリズムとその後の精度向上に使うかは、収集した質問の精査によって判断する必要がある。精査により複数回分の質問データがなく、新規に収集する必要が生じたとしても、今年度に開発した質問力調査のWebシステムと社会人調査の手法を活用することにより、円滑に質問データを収集できる。
最終年度は、全国的な小中高大社におよび質問力検定を実施するともに、他の試験等のデータと比較分析することにより、
質問傾向とコンピテンスとの相関を割り出し、質問からコンピンテスを評価できる質問力評価プログラムを開発する。こうした全国規模の調査は、今年度に実施した大規模な社会人調査の知見を活用すること可能である。また次年度に開発する質問評価アルゴリズムに、コンピテンスを関係付けることにより質問力評価プログラムへと昇華させることが可能である。
以上から、今年度は多少の遅れがあるものの、研究期間中に予定している研究目標を十分に達成できる見込みである。
|
Research Products
(3 results)
