• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

オンライン授業支援のためのバーチャル・クラスメートの開発

研究課題

研究課題/領域番号 23K20725
補助金の研究課題番号 21H00895 (2021-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2021-2023)
応募区分一般
審査区分 小区分09070:教育工学関連
研究機関東北大学

研究代表者

伊藤 彰則  東北大学, 工学研究科, 教授 (70232428)

研究分担者 塩入 諭  東北大学, 電気通信研究所, 教授 (70226091)
能勢 隆  東北大学, 工学研究科, 准教授 (90550591)
研究期間 (年度) 2021-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
13,910千円 (直接経費: 10,700千円、間接経費: 3,210千円)
2025年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2024年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2023年度: 2,470千円 (直接経費: 1,900千円、間接経費: 570千円)
2022年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2021年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
キーワードオンライン授業 / 音声対話 / 講義の重要度 / 仮想エージェント / 対話エージェント / 感情推定 / 重要文推定 / 表情生成 / MOOC / 集中度推定 / 講義重要度推定 / マルチモーダル対話
研究開始時の研究の概要

本研究では、オンライン授業の受講中に、画面に仮想エージェントを表示して、エージェントと会話しながら、講義の必要な部分を聞き洩らさないように受講するシステムを開発する。本研究では、このようなエージェントを「バーチャル・クラスメート」と呼ぶ。
研究開発の内容としては、会話のもとになる講義の重要度の計測、受講生の集中度の計測に加えて、授業動画視聴を邪魔しないバーチャル・クラスメートの表示方法とインタラクション方法の開発、バーチャル・クラスメートの感情表出手法の開発を行い、最終的に授業動画を視聴する実験を行う。

研究実績の概要

仮想エージェントシステムの作成、講義の重要箇所の推定、学習者の注意状態の推定の3つの研究を推進した。それぞれの概要は以下の通りである。
1.R04年度に作成した仮想エージェントを実際に利用できるようにするため、全体システムの調整を行うとともに、プログラムの並列化を行って反応時間を短くすることに成功した。また、このシステムを利用して、エージェントの反応時間、エージェントの感情表現とユーザの印象に関する評価実験を行った。さらに、エージェントとユーザが共に動画を視聴している場合の、エージェントの動作生成に関する検討を行った。
2.講義の重要箇所の推定として、事前学習モデルBERTに基づく文章要約モデルBERTSUMと、大規模言語モデルGPT-3.5を用いた文章要約の比較実験を行った。その結果、GPTを利用した要約を利用して重要箇所を推定したものが高精度であることがわかった。さらに、重要箇所を指摘する主観評価実験を行い、同様にGPTによる重要箇所に基づく指摘が有効であることを見出した。
3.集中度推定システムには、Web カメラを使って心拍情報を計測する rPPG(remote photo-plethysmography) を用いた。システムには OpenFace と pyVHR を用いて実装した。今回はよそ見などの不注意を検出した瞬間にアラート音が鳴るように実装したが、検出精度が十分でない問題や、アラート音がかえって集中を妨げる問題が発生した。これらの問題点は先行研究にも見られたもので、今後改善していく必要がある。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

仮想エージェントの開発は概ね終了し、それを利用した評価も行った。現在はエージェントの動作はアドホックな方法を用いているので、エージェントの動作生成は今後検討していく。
オンライン講義の重要箇所推定についても、ある程度のデータ量を用いて比較実験を行い、有効な手法が明らかになった。また、それを用いて講義視聴中にフィードバックを行う実験を実行し、効果の検証を行った。
受講者の集中度推定は、ある程度可能になったが、さらに詳しい分析が必要になる。

今後の研究の推進方策

令和6年度以降は、まず受講者の集中度推定の高精度化と評価実験を行う。また、前年度おこなった重要箇所のフィードバックは、仮想エージェントを用いないものであった。そのため、仮想エージェントを用いて重要箇所フィードバックを行う方法について検討を行う必要がある。さらに、システムの最終形としては、仮想エージェントと受講者が音声で対話をしながら講義ビデオを視聴するという計画であるが、どのような対話を行うのか、対話のイニシアチブはユーザとエージェントのどちらが取るのか、どのようなタイミングで対話が開始されるのか等については現在未着手である。そのため、最終システム作成に向けて、今年度はこれらの課題に取り組んでいく。

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (19件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (8件) (うち査読あり 6件、 オープンアクセス 4件) 学会発表 (11件) (うち国際学会 2件、 招待講演 2件)

  • [雑誌論文] Scheduled Curiosity-Deep Dyna-Q: Efficient Exploration for Dialog Policy Learning2024

    • 著者名/発表者名
      Niu Xuecheng、Ito Akinori、Nose Takashi
    • 雑誌名

      IEEE Access

      巻: 12 ページ: 46940-46952

    • DOI

      10.1109/access.2024.3376418

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Multimodal Expressive Embodied Conversational Agent Design2023

    • 著者名/発表者名
      Jolibois Simon、Ito Akinori、Nose Takashi
    • 雑誌名

      Communications in Computer and Information Science

      巻: 1832 ページ: 244-249

    • DOI

      10.1007/978-3-031-35989-7_31

    • ISBN
      9783031359880, 9783031359897
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Use of facial expressions to estimate level of attention while watching video lectures.2023

    • 著者名/発表者名
      Miao Renjun、Kato Haruka、Hatori Yasuhiro、Sato Yoshiyuki、Shioiri Satoshi
    • 雑誌名

      Journal of Vision

      巻: 23 号: 9 ページ: 4726-4726

    • DOI

      10.1167/jov.23.9.4726

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Combination of deep-learning-based audio separation and speech enhance-ment for noise reduction of extracted signal from polyphonic music2022

    • 著者名/発表者名
      Soichiro Kobayashi, Takashi Nose, Akinori Ito
    • 雑誌名

      Proceedings of International Congress on Acoustics

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Quali-informatics in the society with yotta scale data2021

    • 著者名/発表者名
      Shioiri, S. Sato, Y., Horaguchi Y. Muraoka, H. & Nihei, M.
    • 雑誌名

      IEEE International Symposium on Circuits and Systems (ISCAS)

      巻: 1 ページ: 1-4

    • DOI

      10.1109/iscas51556.2021.9401161

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Analysis of visual subjective evaluation for qualities of food taste using machine learning techniques2021

    • 著者名/発表者名
      Sato, Y. Matsubara, K. Wada Y. Sakai, N. & Shioiri, S.
    • 雑誌名

      IEICE Technical Report

      巻: 120 ページ: 58-62

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Contribution of the slow motion mechanism to global motion revealed by an MAE technique2021

    • 著者名/発表者名
      Shioiri, S., Matsumiya, K., and Tseng, C.H.
    • 雑誌名

      Scientific reports

      巻: 11, (1) 号: 1 ページ: 3995-3995

    • DOI

      10.1038/s41598-021-82900-2

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 複数の画像ドメインにおける顔表情特徴量を用いた画像の好み推定2021

    • 著者名/発表者名
      佐藤好幸, 洞口勇太, 塩入諭
    • 雑誌名

      人工知能学会全国大会論文集

      巻: JSAI2021

    • NAID

      130008051784

    • 関連する報告書
      2021 実績報告書
  • [学会発表] 対話エージェントにおける聞き手の動作生成に関する検討2024

    • 著者名/発表者名
      伊藤遥稀,伊藤彰則,能勢隆
    • 学会等名
      令和6年東北地区若手研究者研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] オンライン講義における生体情報に基づく集中度推定に関する検討2024

    • 著者名/発表者名
      遠藤雄飛,伊藤彰則,能勢隆
    • 学会等名
      令和6年東北地区若手研究者研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] モノローグ発話における音声のパワーと口形の関係の調査2023

    • 著者名/発表者名
      川西翔貴, 伊藤彰則, 千葉祐弥, 能勢隆
    • 学会等名
      日本音響学会2023年春季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] オンライン講義における生体情報に基づく集中度推定に関する研究2023

    • 著者名/発表者名
      遠藤雄飛, 伊藤彰則, 能勢隆
    • 学会等名
      第388回音響工学研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 対話における非発話時の口唇の動きに関する研究2023

    • 著者名/発表者名
      川西翔貴, 伊藤彰則, 千葉祐弥, 能勢隆
    • 学会等名
      第388回音響工学研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 対話時における話者の動作に関する研究2023

    • 著者名/発表者名
      伊藤遥稀, 伊藤彰則, 能勢隆
    • 学会等名
      第388回音響工学研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] A Comparison of Key Sentence Estimation Methods for On-Demand Lectures Using Text Summarization Techniques and Prosodic Information2022

    • 著者名/発表者名
      Miki Takeuchi, Akinori Ito, Takashi Nose
    • 学会等名
      International Workshop on Emerging ICT
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Predicting attention states during calculation in mind by facial expressions2022

    • 著者名/発表者名
      Kato H., Takahashi K., Horaguchi Y., Hatori Y. Sato Y., and Shioiri S.
    • 学会等名
      RIEC International Symposium, Symposium of Yotta Informatics Research Platform for Yotta-care Data Science 2022
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] オンデマンド講義における重要箇所推定に関する研究2022

    • 著者名/発表者名
      竹内美綺,伊藤彰則,能勢隆
    • 学会等名
      第386回音響工学研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] The Virtual Classmate Project: Incorporating Spoken Dialogue Technology into Online Lecture2022

    • 著者名/発表者名
      Akinori Ito
    • 学会等名
      RIEC International Symposium, Symposium of Yotta Informatics Research Platform for Yotta-care Data Science 2022
    • 関連する報告書
      2021 実績報告書
    • 招待講演
  • [学会発表] オンデマンド講義における重要箇所推定に関する研究2021

    • 著者名/発表者名
      竹内美綺,伊藤彰則,能勢隆
    • 学会等名
      第384回音響工学研究会
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi