• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Pedagogical Agentを利用したMOOCの構築

研究課題

研究課題/領域番号 17K18075
研究種目

若手研究(B)

配分区分基金
研究分野 教育工学
知能情報学
研究機関北海学園大学 (2018-2020)
東京工科大学 (2017)

研究代表者

長谷川 大  北海学園大学, 工学部, 准教授 (30633268)

研究期間 (年度) 2017-04-01 – 2021-03-31
研究課題ステータス 完了 (2020年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2018年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2017年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
キーワードPedagogical Agent / Gesture / Deep Neural Network / ジェスチャ生成 / MOOCs / ジェスチャ自動生成 / ディープニューラルネットワーク / MOOC / IDML
研究成果の概要

本研究は学習者が教材を作成するMOOC(LG-MOOC)を構想し、そのための要素技術として、Pedagogical Agentのジェスチャの自動生成手法とInstructional Design理論にもとづく教材作成のためのマークアップ言語(IDML)の開発を目的とした。研究期間内では主に前者の課題に取り組み、ジェスチャ自動生成のためにスピーチ音声とジェスチャをペアとしてデータセットを作成し、Deep Neural Networkを用いて音声からジェスチャを生成するモデルを構築した。生成されたジェスチャは概ね自然な動きとして知覚されたが、スピーチの意味内容との対応は不十分な結果であった。

研究成果の学術的意義や社会的意義

本研究で作成したデータセットは、日本語話者のジェスチャが3次元データとして収録されている。日本語話者によるデータセットは貴重であり、データセットおよびジェスチャ生成のためのプログラムはgithubで公開している。また本研究ではデータドリブンアプローチによってスピーチ音声から人間のジェスチャを生成する手法を提案した。生成されたジェスチャは動作として人間らしい自然さがあり、このアプローチの可能性を示唆するものであった。この技術が実現されれば、教育エージェントのみならず、ヒューマノイドロボットなど、Human-Agent/robot Interactionへの広い応用が期待できる。

報告書

(5件)
  • 2020 実績報告書   研究成果報告書 ( PDF )
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (17件)

すべて 2021 2019 2018 2017 その他

すべて 国際共同研究 (3件) 雑誌論文 (5件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (9件) (うち国際学会 4件)

  • [国際共同研究] KTH Royal Institute of Technology(スウェーデン)

    • 関連する報告書
      2020 実績報告書
  • [国際共同研究] スウェーデン王立工科大学(スウェーデン)

    • 関連する報告書
      2019 実施状況報告書
  • [国際共同研究] KTH Royal Institute of Technology(スウェーデン)

    • 関連する報告書
      2018 実施状況報告書
  • [雑誌論文] Moving Fast and Slow: Analysis of Representations and Post-Processing in Speech-Driven Automatic Gesture Generation2021

    • 著者名/発表者名
      Kucherenko Taras、Hasegawa Dai、Kaneko Naoshi、Henter Gustav Eje、Kjellstr?m Hedvig
    • 雑誌名

      International Journal of Human-Computer Interaction

      巻: Latest Article 号: 14 ページ: 1-17

    • DOI

      10.1080/10447318.2021.1883883

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Bi-Directional LSTM Networkを用いた発話に伴うジェスチャの自動生成手法2019

    • 著者名/発表者名
      Kaneko Naoshi、Takeuchi Kenta、Hasegawa Dai、Shirakawa Shinichi、Sakuta Hiroshi、Sumi Kazuhiko
    • 雑誌名

      人工知能学会論文誌

      巻: 34 号: 6 ページ: C-J41_1-12

    • DOI

      10.1527/tjsai.C-J41

    • NAID

      130007740807

    • ISSN
      1346-0714, 1346-8030
    • 年月日
      2019-11-01
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [雑誌論文] アバタ媒介型見守りシステムの高齢者における受容性について2018

    • 著者名/発表者名
      長谷川大,盛川浩志,佐久田博司,中山栄純,安彦智史
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 20 号: 2 ページ: 163-172

    • DOI

      10.11184/his.20.2_163

    • NAID

      130006744171

    • ISSN
      1344-7262, 2186-8271
    • 年月日
      2018-05-25
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Pedagogical Agent の導管メタファ・ジェスチャが学習者の理解に与える効果2018

    • 著者名/発表者名
      長谷川大, 白川真一, 佐久田博司
    • 雑誌名

      情報処理学会論文誌「教育とコンピュータ」

      巻: 4 ページ: 83-92

    • NAID

      170000149325

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Creating a Speech-Gesture Dataset for Speech-Based Automatic Gesture Generation2017

    • 著者名/発表者名
      Kenta Takeuchi, Dai Hasegawa, Hiroshi Sakuta
    • 雑誌名

      Communications in Computer and Information Science (CCIS)

      巻: 713 ページ: 353-357

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] Analyzing Input and Output Representations for Speech-Driven Gesture Generation2019

    • 著者名/発表者名
      Taras Kucherenko , Dai Hasegawa , Gustav Eje Henter , Naoshi Kaneko , Hedvig Kjellstrom
    • 学会等名
      International Conference on Intelligent Virtual Agents (IVA2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] On the Importance of Representations for Speech-Driven Gesture Generation2019

    • 著者名/発表者名
      Taras Kucherenko , Dai Hasegawa , Naoshi Kaneko , Gustav Eje Henter , Hedvig Kjellstrom
    • 学会等名
      AAMAS '19: THE 18TH INTERNATIONAL CONFERENCE ON AUTONOMOUS AGENTS AND MULTIAGENT SYSTEMS
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] アバタ媒介型見守りシステムにおけるモーションキャプチャ情報を用いた機械学習の利用2019

    • 著者名/発表者名
      小田俊平,高野保真,長谷川大,佐久田博司,尾花謙伍
    • 学会等名
      情報処理学会研究報告(HCI)
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Evaluation of Speech-to-Gesture Generation Using Bi-Directional LSTM Network2018

    • 著者名/発表者名
      Dai Hasegawa, Naoshi Kaneko, Shinichi Shirakawa, Hiroshi Sakuta, Kazuhiko Sum
    • 学会等名
      18th ACM International Conference on Intelligent Virtual Agents (IVA2018)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 講義代行ロボットにおける双方向LSTMを用いたジェスチャ自動生成システムの性能評価2018

    • 著者名/発表者名
      日和 航大,荒木 健治,長谷川 大,芳尾 哲
    • 学会等名
      2018年度人工知能学会全国大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Speech-to-Gesture Generation: A Challenge in Deep Learning Approach with Bi-Directional LSTM2017

    • 著者名/発表者名
      Kenta Takeuchi, Dai Hasegawa, Shirakawa Shinichi, Naoshi Kaneko, Hiroshi Sakuta, Kazuhiko Sumi
    • 学会等名
      5th International Conference on Human Agent Interaction (HAI2017)
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] ヒューマノイドロボットを用いた講義代行システムにおけるジェスチャの考察2017

    • 著者名/発表者名
      日和航大, 荒木健治, 長谷川大
    • 学会等名
      平成29年度電気・情報関係学会北海道支部連合大会予稿集
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ニューラルネットワークを用いた発話テキストに対応するジェスチャの自動生成2017

    • 著者名/発表者名
      浅川 栄一, 白川 真一, 長谷川 大
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会2017 (SSI2017)
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Bi-directional LSTMを用いた発話に伴うジェスチャの自動生成手法の検討2017

    • 著者名/発表者名
      竹内健太,長谷川大,白川真一,金子直史,佐久田博司, 鷲見和彦
    • 学会等名
      HAIシンポジウム2017
    • 関連する報告書
      2017 実施状況報告書

URL: 

公開日: 2017-04-28   更新日: 2022-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi