| 研究課題/領域番号 |
23500114
|
|---|
| 研究機関 | 電気通信大学 |
|---|
研究代表者 |
尾内 理紀夫 電気通信大学, 情報理工学(系)研究科, 教授 (70323871)
|
|---|
| 研究分担者 |
岡部 誠 電気通信大学, 情報理工学(系)研究科, 助教 (40557211)
|
|---|
| キーワード | マルチメディア技術 |
|---|
| 研究概要 |
無音動画に対して自動で効果音合成を行うシステムを改良し、実装、評価した。本システムは教師データとなる音付き動画を与え、その音データを切り貼りすることにより無音動画に適した新しい音データを生成するが、前年度までのシステムではアルゴリズムの性質上、音の繋ぎ目が目立つ、連続性が保たれないといった問題点があった。そこで今年度は、音付き動画から効果音の合成における特徴量と音データを必要な部分だけ切り出し、オブジェクト化するようシステムを改良した。本改良を実装した結果、より自然な音の合成が可能になる他、効果音の差し替えや加工も可能となった。改良前後の比較評価実験を行い、より適切に効果音の合成が行われることを確認した。
具体的な改良点について以下に述べる。
システムは特徴量として入力動画から抽出したオプティカルフローを用いる。前年度までのシステムは，音付き動画から抽出した全ての特徴量を使用していたが、実際に効果音の合成時において使用する特徴量はその中の一部であり、それ以外の部分は合成におけるノイズになっている場合がほとんどであることが今年度冒頭の分析により明らかとなった。そこで、合成に使用する特徴量と音データを持った、動画とは独立したオブジェクトを作成するというアイデアを発想した。また、前年度までは、マッチングにより選択された部分の音付き動画の音を断片化して貼り付けるため、合成する音をユーザ側がWavファイルに差し替えるといった操作ができなかった。今年度のオブジェクト化という改良により、動作における一連の特徴量と音データが1対1に対応する。これにより、音データのみを別のWavファイル等に差し替える操作や音データを動作ごとに編集するといった操作が可能になった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
計画に沿い、前年度に研究開発したシステムを分析し、問題点の改善手法を発案し、そのアイデアに基づいてシステムを改良し、実装した。評価実験を行った結果、改良により、前年度の問題点を克服することができたことを確認した。
研究成果として論文を外部発表した。
|
| 今後の研究の推進方策 |
おおむね計画どおりに推進する予定である。
25年度は、計画に沿い、システムの有効性評価を主眼とするが、音データベース部の音種類を増加させる検討と実装を行った上で、評価する。
|
| 次年度の研究費の使用計画 |
おおむね当初の予定どおりに研究費を使用する計画である。
|
