Development of MOOC by using Pedagogical Agent

2020 Fiscal Year Final Research Report

• Project/Area Number: 17K18075
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Educational technology; Intelligent informatics
• Research Institution: Hokkai-Gakuen University (2018-2020); Tokyo University of Technology (2017)
• Principal Investigator: Hasegawa Dai 北海学園大学, 工学部, 准教授 (30633268)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: Pedagogical Agent / Gesture / Deep Neural Network

Outline of Final Research Achievements

In this research, The concept of learner-generated MOOC (LG-MOOC) is proposed. In LG-MOOC, a learner creates learning materials and share with other learners, and the materials are performed by a pedagogical agent. To realize the concept, there were two key technologies. The one is gesture generation method for a pedagogical agent, and the other is instructional Design markup language (IDML) to help learners create effective materials. During research term, I focused on development of gesture generation method. I created a dataset where gestures paired with speech audio. A gesture generation model, then, is constructed by Deep Neural Network with the dataset. Gestures generated by the model were perceived as natural movements. However, the meanings of speech and gesture were perceived as not very consistent.

Free Research Field

Human-Computer Interaction

Academic Significance and Societal Importance of the Research Achievements

本研究で作成したデータセットは、日本語話者のジェスチャが3次元データとして収録されている。日本語話者によるデータセットは貴重であり、データセットおよびジェスチャ生成のためのプログラムはgithubで公開している。また本研究ではデータドリブンアプローチによってスピーチ音声から人間のジェスチャを生成する手法を提案した。生成されたジェスチャは動作として人間らしい自然さがあり、このアプローチの可能性を示唆するものであった。この技術が実現されれば、教育エージェントのみならず、ヒューマノイドロボットなど、Human-Agent/robot Interactionへの広い応用が期待できる。