研究課題/領域番号 |
22K02892
|
研究種目 |
基盤研究(C)
|
配分区分 | 基金 |
応募区分 | 一般 |
審査区分 |
小区分09070:教育工学関連
|
研究機関 | 琉球大学 |
研究代表者 |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
研究分担者 |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 文教大学, 教育学部, 教授 (70336353)
|
研究期間 (年度) |
2022-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
キーワード | 授業改善 / 音声認識 / 指導案 / 発話カテゴリー / 集中度 / 学習理解度 / 映像解析 / 可視化 / 教育工学 |
研究開始時の研究の概要 |
本研究では多人数の学習者の姿勢や動きから集中度をはかり、その授業に対し授業改善を支援するものであり、以下の4点について検証を行う。 (1) 正面の設定において、児童生徒の視線や姿勢を情報源として捉え、生起確率に変化することでエントロピーを算出し、動的に正面を推定する手法を検証する。(2) 集中度計測において、実際セグメントの最適サイズやそのパターン数を科目や単元ごとに実験を通し検証する。(3) 指導案キーワード集の作成においては、ビギナー教師とベテラン教師の学習指導案から抽出を 行い、これらの有効性を検証するため比較調査を行う。
|
研究実績の概要 |
授業の改善を行う方法として、カメラで撮影した映像と音声から重要な単語を検出するシステムを開発することで、教員は授業の録画を全て見るのではなく、重要な単語を発したタイミングの部分だけを見ることで、教員は授業の振り返りと改善を効率的に行えるようになる。本研究では、カメラで撮影した映像から音声を抽出し音声認識を行い、教員の発した重要な単語を記録するシステムの開発を目指している。まず、本システムで使用する vosk のモデルは alpha cephei 社が配布している vosk- model-ja-0.22 を使用する。入力部で抽出した音声を音声認識ツールキット(vosk)のモデルに入力し音声認識を行い、json 形式で出力される。モデルによる音声認識の処理過程は、①音声認識を行うデータをある程度のフレーム数で切り取り、モデルに入力する。②ある程度の文章が生成されたらモデルが true を返し、用意していた list に追加する。③全てのデータを入力するまで 1 に戻る。また、検出するキーワードは2種類あり、1つ目は授業で使用した指導案を基にシステムに入力するキーワードである。指導案から名詞や動詞のみを切り出してキーワードとした。2つ目は岸らが分類した発話カテゴリーに基づいて事前に用意したキーワードである。発話カテゴリーから「指示・確認」に注目して 19単語をキーワードとした。さらに、本研究では django という python の web アプリケーションフレームワークで アプリケーションとして実装し、音声の波形と記録したキーワードを時系列でまとめたグラフとして表示している。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度の研究では、alpha cephei 社が開発したオープンソースの音声認識ツールキットであ るvoskを改良した自作の音声認識システムを構築している。また、複数教師から指導案を提供して頂き、指導案キーワードをもとに集めたキーワー ドの音声認識用のデータベースを生成することができた。さらに、キーワードの検出結果は django という python の web アプリケーションフレームワークで アプリケーションとして実装した。これにより、映像による集中度の変化が著しい時刻の前後の区間を特定し、音声認識により音声からテキストに変換し、これらの認識結果を時系列キー ワードとして生成することが可能である。また、学習指導案における「8本時の指導」の「(3)展開」の内容からキーワードを選定し、キーワードの検出実験を行なっている。これらの双方のキーワードを時系列に並べ、比較検証することで学習指導案に従って授業の展開を客観的に評価することが可能になっており、現時点での進捗状況としては「おおむね順調に進展している」であると判断している。
|
今後の研究の推進方策 |
今後は集中パターンを推定する実験を行う予定である。まず、時系列に似たようなパターンが周期的に現れる場合に時系列の規則性(周期性)を求める。次に線の傾きを時系列の傾向として分析し、集中度の持続時間や変化を捉える。そのため、時系列に対し線分化を行い、何らかの規則に基づき複数の部分時系列(セ グメント)に分割することにより、集中パターンを抽出する。また、k最近傍法(kNN法)を導入し、 線分化時系列を対象に量子化を行い、パターン形状の簡単化をはかる。そして、セグメント(部分シーケンス集合)に分割し、それらの類似時系列パターンをグループ化し、集中パターンとする。これらを頻度や時間を計測し、集中度に加算することで精度の向上をはかる。
|