人の身体表現に寄り添うAIの実現

Research Project

Project/Area Number	23K17022
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 62040:Entertainment and game informatics-related
Research Institution	Ochanomizu University
Principal Investigator	土田修平お茶の水女子大学, 文理融合 AI・データサイエンスセンター, 講師 (20830920)
Project Period (FY)	2023-04-01 – 2028-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2027: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000) Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Keywords	ダンスジャンル / 解説動画 / 印象推定 / 3Dモデル / Webシステム / 印象 / 感性情報 / エンタテインメント / 表現支援 / ダンス
Outline of Research at the Start	本研究では、構築した印象推定モデルに基づき、表現者の動作や感情を考慮しつつ印象ベースに適切に情報を提示する技術の確率に取り組む。具体的には、印象ワード（仕草や身振りから受けた印象を表現する言葉）をスコアリングできる印象パラメータ推定技術、仕草や身振りはそのままに、テクノロジー（ARやロボット）によって、より理想的な印象を与えられる印象サポート技術や自分らしい印象を強化できる印象強化技術などを構築する。これら技術により、多様な人々が互いに気持ちよくコミュニケーションできる社会の創出に繋がる。
Outline of Annual Research Achievements	本研究では、異なるダンスジャンルを楽しむためのWebシステムを開発し、ダンス経験者が未経験のジャンルを理解し楽しむ支援を目指した。この研究の背景として、ダンスには多様なジャンルがあり、それぞれのジャンルには独自の特徴や用語が存在するため、異なるジャンルのダンスを理解することが困難である点が挙げられる。本研究では、バレエ経験者を対象にブレイキン（ブレイクダンス）の解説を支援するWebシステムを構築し、その効果を検証した。具体的には、解説動画の視聴と専門家へのインタビューを通じて、ダンス経験者がわからないと感じる部分を特定し、それらの要因を分析した。その結果、用語と動作の対応、用語の解釈、評価ポイントの差異などが理解を妨げる要因として明らかになった。これらの知見を基に、ブレイキンとバレエの視点から解説を行うWebシステムを実装し、3Dモデルを活用した視覚的な説明を提供することで、ユーザーが異なるジャンルのダンスをより深く理解し楽しむことができる環境を整えた。また、印象語に関するアンケート調査とインタビューを実施するための内容の検討を進めている。以上の研究成果は、ダンス教育やパフォーマンス支援に留まらず、広く非言語コミュニケーションの理解と支援に寄与する可能性がある。また、ジャンルを越えたダンスの楽しみ方を支援することで、多様な文化の理解と交流を促進し、高度な表現支援AIの開発につながると考える。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究計画書において掲げられた目標は、印象推定モデルの構築とそれを基にした表現支援AIの開発である。この目標に対し、実際に達成された成果として、異なるダンスジャンルを楽しむためのWebシステムを開発しており、その効果についても検証できている。この成果は、印象推定モデルの構築に間接的に貢献できるものであり、計画通りに進展しているといえる。当初の予定とは方法が異なるものの、アンケート調査を通じて印象語（理解しづらいワード）の収集と分類が進んでおり、予備調査として数名に対する聞き取り調査を実施した。今後の大規模なアンケート調査に向けた基盤が整いつつある。これらデータは、印象推定モデルの構築・精度向上に必要であり、研究の進展を支える重要な要素を押さえられたと考える。また、専門家インタビューを通じて、異なるダンスジャンルにおける用語の解釈や評価ポイントの差異が明らかにした。この情報は、Webシステムのコンテンツ充実に寄与し、ユーザーが異ジャンルのダンスを理解しやすくするための基盤を提供する。表現を支援するAIを活用する上で、重要な知見になると考える。以上の理由から、本研究課題はおおむね順調に進展していると判断した。今後も引き続き計画に基づいた研究活動を推進し、最終的な目標の達成に向けて邁進する。
Strategy for Future Research Activity	現在、予備調査として数名に対してアンケートを実施しているが、今後はより大規模なアンケート調査を行い、データの信頼性と一般性を向上させる。具体的には、ダンスジャンルの経験者を対象に、印象語の収集と分類を進める。アンケート項目も精緻化し、より具体的な印象を引き出すための設問設計を行う。また、既に実施した専門家インタビューに加え、さらなる専門家へのインタビューを実施する。さらに、各ダンスジャンルの第一線で活躍するプロフェッショナルや教育者にインタビューを行い、ジャンル間の視点や評価基準の違いをより詳細に把握していく。アンケート調査と専門家インタビューで得られたデータを基に、ダンス動作と印象の大規模なデータセットを構築する。このデータセットは、他の研究者や教育者にも利用できるよう整備し、印象推定モデルのベンチマークとして活用されることを目指す。引き続き研究成果を積極的に学会発表し、論文として投稿する。国内外の関連する学会や論文誌において、研究成果の発表を目指す。