Generating and transforming human motions from natural language sentences using generative AI

• Project/Area Number: 25K15404
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 尾下 真樹 九州工業大学, 大学院情報工学研究院, 教授 (20363400)
• Project Period (FY): 2025-04-01 – 2029-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2028: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2027: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2026: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
• Keywords: アニメーション / 人体動作 / 自然言語 / 生成AI

Outline of Research at the Start

本研究課題では、生成AI技術を用いることで、自然言語による記述された文章から人体動作データを生成する手法を開発する。本技術により、専門的な知識を持たない利用者でも、容易にアニメーションやコンピュータゲームなどのコンテンツ制作が可能になる。本研究では、自然言語における「動詞」と「副詞」を区別して扱うことで、「動詞」に相当する各動作での全身の動かし方の学習モデルや、「副詞」に相当する動作の変化の学習モデルを構築する。また、これらの学習モデルを用いて、拡散モデルにより動作生成・変形を行う手法を開発する。