2019 Fiscal Year Research-status Report
Natural and fun character action based on relevance / non-relevance with speech
| Project/Area Number |
18K11602
|
|---|
| Research Institution | Yamaguchi College of Arts |
|---|
Principal Investigator |
山本 正信 山口芸術短期大学, 芸術表現学科, 教授 (00242397)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 発話と動作 / キャラクタアニメーション / コンピュータアニメーション / モーションキャプチャ |
|---|
| Outline of Annual Research Achievements |
アニメキャラクタの動きを作成するとき、台詞に合ったしぐさ・動作を付けるのが一般的である。これに対し、最近の演劇理論では、台詞と関係のない動作を俳優に行わせると、発話の不自然さがなくなることが指摘されている。このことは、発話に無関係な動作のほうが違和感のないアニメが制作できる可能性がある。
前年度までは、二人が対話をしているシーンに対し、動作に合った台詞と動作とは無関係な台詞を用意し、どちらの台詞が自然に見えるかをアンケートにより調査した。その結果、二人の動作に強い関連性がある場合には動作に合った台詞が、関連性が弱い場合には無関係な台詞が相応しいことが明らかになった。
本年度は、対話において動作とは無関係な台詞に対し、どのような動作が相応しいのか実験的に検討した。具体的には、昼飯の相談を自動車運転中のシーン、外科手術のシーン、電話で相談するシーンの３つのアニメを作成し、最も相応しいシーンをアンケートで評価した。3択で評価した結果、昼飯の相談は運転中が最も相応しいと選択した割合が68％となり、以下電話中が27％、手術中が５％の順となった。
一方、次年度のアニメ制作に向け、これまで制作された映画やテレビドラマなどの作品を分析した。顔の表情も動作の一部に含めると、殆どのシーンで台詞と動作は強く結びついている。しかし、動作が台詞とは無関係であるシーンも少なからず存在する。そのようなシーンでの俳優は、配役上の上司であるなど、心理的に余裕がある場合が多かった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対話（昼飯の相談）に相応しい動作をモーションキャプチャ(MY-Motion)とアニメ制作ソフト(Clip Studio Animation)を使い制作した。台詞は制作ソフトの音声合成機能を使って入力した。自動車運転シーン、外科手術シーン、電話での相談シーンの3つのアニメを作成し、大学生37名に対しアンケート調査を行った。その結果最も相応しいシーンは、自動車運転と答えた割合が最も多く、以下電話、外科手術の順となった。このうち外科手術シーンは、テレビの医療ドラマの中で、手術が成功した直後医者たちが軽口をたたきながら食事の相談をしているシーンを参考にした。ドラマの中では違和感がなかったが、このシーンだけを切り取って、自動車運転や電話のシーンと比較すると違和感があったようである。この結果を、2020年電子情報通信学会総合大会で発表した。
|
| Strategy for Future Research Activity |
一つの作品のなかでも、台詞と関連付けられた動作が必要な場合と、関係の無い動作の方が相応しい場合、があるはずである。そのような切り替えを行うための条件を、これまでの映画やテレビドラマ、アニメなどの作品を参考に明らかにする。
また、前年度の実験では、台詞と関係のない動作のうち最も相応しい動作を実験的に検討した。このとき、動作の候補を前後の脈絡とは関係なく選んだため、日常的に最もあり得る動作が相応しいという結果になった。しかし、作品にはテーマがあるはずで、そのテーマの束縛の中で動作を選択すべきであった。動作選択実験を再度行い最も相応しい動作の条件を明らかにする。
本研究で得られた知見に基づきアニメ作品を制作する。まず、作品のシナリオを作成する。この中で発話と動作の関係が強い部分と弱い部分に分け、強い部分は発話と動作の関係を過去の作品から学習しておき、台詞から動作を自動生成する。弱い部分は動作データベースの中から作品のテーマを考慮して最適な動作を選択する。
|
| Causes of Carryover |
2020年電子情報通信学会総合大会で講演発表の予定であったが、新型コロナウイルス感染症のため大会が中止となった。そのため計上していた旅費などを次年度で使用することにした。なお、講演論文集は発行されているので、研究成果は発表扱いとなっている。
|
Research Products
(3 results)
