2013 Fiscal Year Annual Research Report
| Project/Area Number |
23500114
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
尾内 理紀夫 電気通信大学, 情報理工学(系)研究科, 教授 (70323871)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡部 誠 電気通信大学, 情報理工学(系)研究科, 助教 (40557211)
|
|---|
| Keywords | 音処理 / 効果音編集 |
|---|
| Research Abstract |
無音動画像ショットへの適切な音貼り付け作業はきわめて時間のかかる作業である。そこで、音を無音動画像内容と合わせる同期機能、音を適切な長さに伸長する編集機能等の要素技術を確立し、作業負担を軽減することを研究の目的とした。
音の編集においては、音声と音楽に関する研究は多数行われているが効果音に関する研究は少ない。しかし効果音貼り付けは無音動画の有音化における有用性が高いため、主としてこれを対象とした。事前の検討により、動画製作で使用される効果音を、繰り返し音、瞬間的な音、持続性のある音の三種類に分類していたが、風の音や車の走行音などの繰り返し音は本研究代表者、研究分担者らの先行研究によりその技術がすで確立されていたため、残りの二種についての研究を主に展開した。
足音や物体の衝突音など瞬間的な音に関しては、持続時間が一瞬しかない点が特徴である。そのため動画製作においてはミリ秒単位で発音位置を調整し、動画内の物体の動きと効果音の発音タイミングを一致させる必要がある。そこで、音付き動画から効果音の合成に使用する特徴量と音データを必要な部分だけ切り出し、動画とは独立したオブジェクト化するというアイデアを発想し、それを実現することにより、瞬間的な音の貼り付け技術を確立した。
ガラスの破壊音や水はね音、爆発音など数ミリ秒から5秒程度持続する音は、広い周波数帯域にわたって不規則に音の成分が現れる点が特徴である。このため無音動画内の物体の動きに合わせて持続性のある効果音を劣化を抑えて伸長させるアルゴリズムを考案、実装し、その効果を確認した。また音無しの楽器演奏動画に別の演奏音を貼り付ける検討も行った。
まとめると、無音の動画像ショットへの効果音貼り付けに対して、本研究成果を用いることにより、既存の編集ソフトウェアと比較し、音の貼り付け作業に要する時間を大幅に短縮できることを確認した。
|
