2021 Fiscal Year Research-status Report
教室内発話ターンテーキングに着目した授業活性度の可視化
| Project/Area Number |
19K02999
|
|---|
| Research Institution | Shiga University |
|---|
Principal Investigator |
市川 治 滋賀大学, データサイエンス学部, 教授 (00821612)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊達 平和 滋賀大学, データサイエンス学部, 准教授 (70772812)
右田 正夫 滋賀大学, 教育学部, 教授 (70335157)
田中 宏子 滋賀大学, 教育学部, 教授 (00324559)
辻 延浩 滋賀大学, 教職大学院, 教授 (00378431)
磯西 和夫 滋賀大学, 教育学部, 教授 (50223061)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 授業内音声イベント / 授業活性度 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
研究の主たる目的は，教師と生徒の発話のターンテーキングに着目して，授業の活性度の客観的な指標を見出し，その測定の手法を確立することである。
前回報告の2020年度は，実際の中学校・小学校の教室で，実際の授業の音声を収録した。3名の評価者により、収録した授業ごとの活性度を主観的に評価した。また、授業の中で発生する「教員による説明」「板書」「グループワーク」「机間巡視」「ビデオ視聴」「生徒発言」「拍手」「笑い」などの授業内音声イベントの可視化にもニーズがあることがわかったので、全部の収録授業について、それらのイベントの発生時刻を人手にて付与する作業を行った。
今回報告の2021年度は、これらのデータを分析し、２つの機械学習モデルを構築する作業を行った。１つ目のモデルは、授業内の音声イベントの検知モデルである。１つの授業の音声を数秒ごとに分割し、LSTMを用いた深層学習モデルにより、対応する音声イベントクラスを推定する。この結果を前後数セグメントについて結合し、２段目に位置するLGBMモデルへ入力し、連続した音声イベント区間を得る。現在、このモデルは教師に装着したピンマイク音声を対象に構築されており、マイクロフォンアレイで収録した音声については次年度に取り組む予定である。２つ目のモデルは、教員や生徒の発言イベントの時間や回数、板書イベントの時間などを特徴量として、授業の活性度の主観評価値を推定するモデルである。主観評価は４段階であるが、分類問題として機械学習を構成するよりも、いったん数値に変換し、それに非線形のマッピングを施したうえで、回帰問題としてモデル化することが有効であることを見出した。機械学習にはLGBMモデルを使用している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年までに収録した音声と手作業で付与した正解ラベルデータを用いて、機械学習モデルの構築を開始することができた。
|
| Strategy for Future Research Activity |
授業内音声イベントの検知モデルについて、マイクロフォンアレイ音声に対応する拡張を行う。また、マイクロフォンアレイによる発話位置推定を実装し、発話位置を授業の活性度の推定モデルの特徴量として追加することを試みる。また、ピンマイクとマイクロフォンアレイの音声データを組み合わせ、教員がどのような経路で机間巡視を行っているかを予測する研究を行う。
４年目（２０２２年度）は，最終年度であるが、コロナ禍でデータ収集が１年遅れたため、上記の分析作業を完了する時間が十分ではない。１年間期間を延長して、分析作業を継続することを考えている。
|
| Causes of Carryover |
採録された国際学会がオンライン開催となったため、旅費の支出が計画を下回った。
次年度は最終年度となっているが、１年の延長を予定しているので、繰り越した金額は２年に渡って使用する計画である。
|
