• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

教室内発話ターンテーキングに着目した授業活性度の可視化

Research Project

Project/Area Number 19K02999
Research InstitutionShiga University

Principal Investigator

市川 治  滋賀大学, データサイエンス学部, 教授 (00821612)

Co-Investigator(Kenkyū-buntansha) 伊達 平和  滋賀大学, データサイエンス学部, 准教授 (70772812)
右田 正夫  滋賀大学, 教育学部, 教授 (70335157)
田中 宏子  滋賀大学, 教育学部, 教授 (00324559)
辻 延浩  滋賀大学, 教職大学院, 教授 (00378431)
磯西 和夫  滋賀大学, 教育学部, 教授 (50223061)
Project Period (FY) 2019-04-01 – 2023-03-31
Keywords授業内音声イベント / 授業活性度 / 深層学習
Outline of Annual Research Achievements

研究の主たる目的は,教師と生徒の発話のターンテーキングに着目して,授業の活性度の客観的な指標を見出し,その測定の手法を確立することである。
前回報告の2020年度は,実際の中学校・小学校の教室で,実際の授業の音声を収録した。3名の評価者により、収録した授業ごとの活性度を主観的に評価した。また、授業の中で発生する「教員による説明」「板書」「グループワーク」「机間巡視」「ビデオ視聴」「生徒発言」「拍手」「笑い」などの授業内音声イベントの可視化にもニーズがあることがわかったので、全部の収録授業について、それらのイベントの発生時刻を人手にて付与する作業を行った。
今回報告の2021年度は、これらのデータを分析し、2つの機械学習モデルを構築する作業を行った。1つ目のモデルは、授業内の音声イベントの検知モデルである。1つの授業の音声を数秒ごとに分割し、LSTMを用いた深層学習モデルにより、対応する音声イベントクラスを推定する。この結果を前後数セグメントについて結合し、2段目に位置するLGBMモデルへ入力し、連続した音声イベント区間を得る。現在、このモデルは教師に装着したピンマイク音声を対象に構築されており、マイクロフォンアレイで収録した音声については次年度に取り組む予定である。2つ目のモデルは、教員や生徒の発言イベントの時間や回数、板書イベントの時間などを特徴量として、授業の活性度の主観評価値を推定するモデルである。主観評価は4段階であるが、分類問題として機械学習を構成するよりも、いったん数値に変換し、それに非線形のマッピングを施したうえで、回帰問題としてモデル化することが有効であることを見出した。機械学習にはLGBMモデルを使用している。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

前年までに収録した音声と手作業で付与した正解ラベルデータを用いて、機械学習モデルの構築を開始することができた。

Strategy for Future Research Activity

授業内音声イベントの検知モデルについて、マイクロフォンアレイ音声に対応する拡張を行う。また、マイクロフォンアレイによる発話位置推定を実装し、発話位置を授業の活性度の推定モデルの特徴量として追加することを試みる。また、ピンマイクとマイクロフォンアレイの音声データを組み合わせ、教員がどのような経路で机間巡視を行っているかを予測する研究を行う。
4年目(2022年度)は,最終年度であるが、コロナ禍でデータ収集が1年遅れたため、上記の分析作業を完了する時間が十分ではない。1年間期間を延長して、分析作業を継続することを考えている。

Causes of Carryover

採録された国際学会がオンライン開催となったため、旅費の支出が計画を下回った。
次年度は最終年度となっているが、1年の延長を予定しているので、繰り越した金額は2年に渡って使用する計画である。

  • Research Products

    (7 results)

All 2022 2021 2020

All Presentation (5 results) (of which Int'l Joint Research: 1 results) Patent(Industrial Property Rights) (2 results)

  • [Presentation] 教員ピンマイクによる授業内音声イベントの可視化2022

    • Author(s)
      高瀬 壮彦, 市川 治
    • Organizer
      日本音響学会 2022年春季研究発表会
  • [Presentation] 対話の構造の可視化のためのBERTを用いた先行発話への接続確率の推定モデル2022

    • Author(s)
      徳永 一輝, 中山 隆弘, 白水, 始, 市川 治
    • Organizer
      情報処理学会全国大会
  • [Presentation] 授業グループワークの参加者を音声情報のみを用いて自動グルーピングする方法2021

    • Author(s)
      島 悠人, 中山 隆弘, 白水 始, 市川 治
    • Organizer
      日本音響学会秋季研究発表会
  • [Presentation] BERTによる国語記述式答案の自動採点における採点アノテーションの重要性2021

    • Author(s)
      高野 峻矢, 市川 治
    • Organizer
      第20回情報科学技術フォーラム
  • [Presentation] Multi-Channel VAD for Transcription of Group Discussion2021

    • Author(s)
      Osamu Ichikawa, Kaito Nakano, Takahiro Nakayama, Hajime Shirouzu
    • Organizer
      Interspeech 2021
    • Int'l Joint Research
  • [Patent(Industrial Property Rights)] 発話者グループ推定装置2021

    • Inventor(s)
      市川 治
    • Industrial Property Rights Holder
      滋賀大学・内田洋行
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2021-132459
  • [Patent(Industrial Property Rights)] マルチチャンネル発話区間推定装置2020

    • Inventor(s)
      市川 治
    • Industrial Property Rights Holder
      滋賀大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2020-004771

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi