• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Speech-to-Lecture: 教育エージェントによる学習教材の自動生成

Research Project

Project/Area Number 21K12160
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62030:Learning support system-related
Research InstitutionHokkai-Gakuen University

Principal Investigator

長谷川 大  北海学園大学, 工学部, 准教授 (30633268)

Co-Investigator(Kenkyū-buntansha) 金子 直史  青山学院大学, 理工学部, 助教 (40803531)
白川 真一  横浜国立大学, 大学院環境情報研究院, 講師 (90633272)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
KeywordsPedagogical Agent / ジェスチャ / Deep Neural Network / 3次元姿勢推定
Outline of Research at the Start

本研究では、動画像から人体の3次元姿勢推定を行う技術を用いて講義動画像からスピーチと3次元の人体動作の大規模なデータセットを構築する。また、ジェスチャと共起する言語情報を「Word Embedding」によりベクトル表現し、さらに、この言語ベクトルと動作ベクトルを同時に保持・表現可能な 表現系をAuto Encoderにより開発する。最後に本研究で収集・表現された大規模マルチモーダルデータセットから音声時系列情報とジェスチャ時系列情報の関連性を学習可能なDeep Neural Networkの開発を行う。

URL: 

Published: 2021-04-28   Modified: 2021-08-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi