2020 Fiscal Year Annual Research Report
Development of an automatic generation method for optimal animation using sound sources as input
| Project/Area Number |
18K18173
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
石川 知一 東洋大学, 情報連携学部, 准教授 (30635545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | コンピュータグラフィックス / クロスモーダル / 最適化 / シミュレーション |
|---|
| Outline of Annual Research Achievements |
本申請研究では，音源を入力として，その音源に適したコンピュータグラフィックスのアニメーションを出力することを目的としている。申請期間内に解決する課題は，次の3つである。提案法は情報が既知の音源を複数用意して，回帰モデルにかけたり，高度な機械学習したりすることによって，アニメーション生成のためのパラメータを確定させる。
課題１．シーン生成のための数理モデルを構築し，音源からパラメータを決定すること
課題２．映像制作ソフトのプラグインを開発し，制作効率が向上するか検証すること
課題３．音と映像が適しているか人間が受ける感覚を統計的に検証すること
このうち，限定的なシーンではあるが，シーン生成のための数理モデルの構築と最適化すべきパラメータを見出し，遺伝的アルゴリズムによる最適化を行った。この結果は国際会議にて発表している。また，音と映像それぞれに対して受け取る印象のアンケート調査を実施した。この結果を利用して，回帰分析にかけることで映像に最適なBGMを検索するシステムを構築した。当初，音と映像のタイミングを取ることが難しいシーンを対象としており，アーティストの作業量の負担を抑えることを研究目的としていた。近年，動画投稿が盛んに行われており，動画投稿者がBGMを検索することもまた時間的コストがかかるため，本研究成果はこの時間的コストの低減に貢献できると考えられる。この結果は国内の研究会で発表しており，今後国際会議で発表する予定である。
|
