2018 Fiscal Year Research-status Report
Natural and fun character action based on relevance / non-relevance with speech
| Project/Area Number |
18K11602
|
|---|
| Research Institution | Yamaguchi College of Arts |
|---|
Principal Investigator |
山本 正信 山口芸術短期大学, 芸術表現学科, 教授 (00242397)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 発話と動作 / 動作生成 / コンピュータアニメーション / キャラクタアニメーション / モーションキャプチャ |
|---|
| Outline of Annual Research Achievements |
アニメキャラクタの動作を設定するとき、これまでは発話と関連付けて設定されてきた。これに対し、最近の演劇理論では、「台詞と無関係な動作を俳優に演じさせると、スリリングで面白みのある演技が生まれる」とされている。実際に、ヒトの発話動作を観察すると、発話の前に動作が行われる場合が見られる。勿論、明らかに発話内容と連動していると思われる動作も存在する。キャラクタの動作を発話と関連付けるべきなのか、それとも無関係に自由に作成すべきなのか？
すでに予備実験で、同じ動作に対し「動作に関連のある会話」と「動作に関連のない会話」のアニメーションを制作し、どちらが自然に見えるかを検証した。制作したアニメは、自動車の「運転」、「卓球」の対戦、「体感型ゲーム」の３種類である。それぞれ２名のキャラクタに、動作に関係のある台詞と動作に関係のない台詞を用意し対話させた。一般人を対象に、動作に関係のある会話と関係のない会話のアニメについてどちらが自然に見えるかアンケートにより評価した。この結果、「運転」では「昼食先を相談している会話」、すなわち運転動作に関係のない会話の方が自然に見えた。一方、「卓球」では「技の自慢」、「体感型ゲーム」では「ゲームの攻略法」など動作に関係のある会話の方が自然に見えた。ここから、動作とのつながりが弱い対話では対話内容との関連性の弱い動作でも良く、動作とのつながりが強い対話では動作は対話内容と強く関連付ける必要がある、ことが見えてくる。しかし、僅か３例に基づく結論である。この結論を仮説とし、事例を増やし仮説を補強するとともに、仮説が成り立つための条件を明らかにする。そのためには。モーションキャプチャの整備を行うとともに、幾つかの動作の測定を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究代表者は本研究開始年度当初に、これまで所属していた国立大学から私立短期大学に異動した。それに伴い研究環境の再構築から取り掛かった。使用可能なモーションキャプチャは、Kinect1, Kinect2及び研究代表者のグループがこれまで開発してきた多視点モーションキャプチャと単眼カメラからのモーションキャプチャである。このうち多視点モーションキャプチャが最も精度が良いのだが、広いスタジオが確保できなかったため、Kinectと単眼モーションキャプチャを使用した。日常の動作のうち、「掃除をする」、「テレビを見る」動作の測定を行った。
研究成果の一部を沖縄で開催された国際会議(2019 International Conference for Leading and Young Computer Scientists, Feb.28-Mar.03/2019)において、招待講演：Video-based Motion Capture and Computer Animation*（ビデオ映像からのモーションキャプチャとコンピュータアニメーション)を行った。この講演に対して、Asia Pacific Society for Computing and Information TechnologyからOutstanding Research Achievement and Contributionを受賞した。
|
| Strategy for Future Research Activity |
モーションキャプチャのKinectは、Clip Studio Animationと呼ばれるソフトウェアと連動している。動作はリアルタイムで記録され、動作の修正はオフラインで行われる。Kinectの測定精度があまり良くないことと、身体が寝そべっている場合など測定できない姿勢がかなりあるのが問題である。一方、単眼モーションキャプチャはリアルタイムでは測定できず、記録されたビデオ映像からオフラインで測定する。ただし、この測定は身体像とモデルとの自動照合ではあるが、キーフレームでは手動による照合であり、かなり手間を要し使い辛いソフトである。したがって、多視点モーションキャプチャを稼働させるための環境整備を行うとともに、人工知能を援用した照合の自動化を図りたい。さらに動作データの蓄積を行い、仮説の検証を進めるとともに、発話に最もふさわしい動作の条件を明らかにする。
|
| Causes of Carryover |
次年度使用額と次年度予算を合算して高性能パソコンを購入するため。
|
Research Products
(3 results)
