| 研究課題/領域番号 |
22K02892
|
|---|
| 研究機関 | 琉球大学 |
|---|
研究代表者 |
姜 東植 琉球大学, 工学部, 准教授 (00315459)
|
|---|
| 研究分担者 |
笹澤 吉明 琉球大学, 教育学部, 准教授 (50292587)
小林 稔 文教大学, 教育学部, 教授 (70336353)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 授業改善 / 音声認識 / 指導案 / 発話カテゴリー |
|---|
| 研究実績の概要 |
授業の改善を行う方法として、カメラで撮影した映像と音声から重要な単語を検出するシステムを開発することで、教員は授業の録画を全て見るのではなく、重要な単語を発したタイミングの部分だけを見ることで、教員は授業の振り返りと改善を効率的に行えるようになる。本研究では、カメラで撮影した映像から音声を抽出し音声認識を行い、教員の発した重要な単語を記録するシステムの開発を目指している。まず、本システムで使用する vosk のモデルは alpha cephei 社が配布している vosk- model-ja-0.22 を使用する。入力部で抽出した音声を音声認識ツールキット（vosk）のモデルに入力し音声認識を行い、json 形式で出力される。モデルによる音声認識の処理過程は、①音声認識を行うデータをある程度のフレーム数で切り取り、モデルに入力する。②ある程度の文章が生成されたらモデルが true を返し、用意していた list に追加する。③全てのデータを入力するまで 1 に戻る。また、検出するキーワードは2種類あり、1つ目は授業で使用した指導案を基にシステムに入力するキーワードである。指導案から名詞や動詞のみを切り出してキーワードとした。2つ目は岸らが分類した発話カテゴリーに基づいて事前に用意したキーワードである。発話カテゴリーから「指示・確認」に注目して 19単語をキーワードとした。さらに、本研究では django という python の web アプリケーションフレームワークで アプリケーションとして実装し、音声の波形と記録したキーワードを時系列でまとめたグラフとして表示している。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度の研究では、alpha cephei 社が開発したオープンソースの音声認識ツールキットであ るvoskを改良した自作の音声認識システムを構築している。また、複数教師から指導案を提供して頂き、指導案キーワードをもとに集めたキーワー ドの音声認識用のデータベースを生成することができた。さらに、キーワードの検出結果は django という python の web アプリケーションフレームワークで アプリケーションとして実装した。これにより、映像による集中度の変化が著しい時刻の前後の区間を特定し、音声認識により音声からテキストに変換し、これらの認識結果を時系列キー ワードとして生成することが可能である。また、学習指導案における「8本時の指導」の「(3)展開」の内容からキーワードを選定し、キーワードの検出実験を行なっている。これらの双方のキーワードを時系列に並べ、比較検証することで学習指導案に従って授業の展開を客観的に評価することが可能になっており、現時点での進捗状況としては「おおむね順調に進展している」であると判断している。
|
| 今後の研究の推進方策 |
今後は集中パターンを推定する実験を行う予定である。まず、時系列に似たようなパターンが周期的に現れる場合に時系列の規則性(周期性)を求める。次に線の傾きを時系列の傾向として分析し、集中度の持続時間や変化を捉える。そのため、時系列に対し線分化を行い、何らかの規則に基づき複数の部分時系列(セ グメント)に分割することにより、集中パターンを抽出する。また、k最近傍法(kNN法)を導入し、 線分化時系列を対象に量子化を行い、パターン形状の簡単化をはかる。そして、セグメント(部分シーケンス集合)に分割し、それらの類似時系列パターンをグループ化し、集中パターンとする。これらを頻度や時間を計測し、集中度に加算することで精度の向上をはかる。
|
| 次年度使用額が生じた理由 |
新型コロナウイルスによる影響がまだ残っており、十分な授業映像を収集することが困難でありました。そのため、授業映像に基いた集中度の解析実験が予定より少し遅れている状況であります。また、円安の影響により当初購入計画をしていた物品費や旅費について見直す必要があったため、本年度の予算を次年度での使用を希望しております。なお、次年度に繰越した金額の主な使用計画としましては、GPU搭載のデスクトップ型コンピュータの購入、国外の国際コンファレンスへの参加および学術論文掲載費などを考えております。
|
