Development of an intra- and inter-personal body movement generation model based on Japanese language

• Project/Area Number: 25K15217
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 山本 知仁 金沢工業大学, 情報理工学部, 教授 (60387347)
• Project Period (FY): 2025-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2025)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2027: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2026: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2025: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
• Keywords: 生成AI / LLM / 拡散モデル / 身体動作生成 / フィジカルAIエージェント

Outline of Research at the Start

近年、生成AIの急速な進化により、言語や画像など多くのデータが生成できるようになっている。一方で、ある言葉に伴う身体動作については、まだ十分に生成できておらず、その原因として、言葉とそれに伴う身体動作データが不足していることが挙げられる。本研究では、日本語に注目し、イントラパーソナル、インターパーソナルな発話と身体動作を適宜分けながらデータを取得、それらを用いて拡散モデル、もしくはVAEをベースとした生成AIモデルを構築する。また、3DCGのアバターやヒューマノイド型ロボットに得られた生成データを適用し、適切に動作するかについて検証を行う。