2011 Fiscal Year Research-status Report
| Project/Area Number |
23500114
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
尾内 理紀夫 電気通信大学, 情報理工学(系)研究科, 教授 (70323871)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡部 誠 電気通信大学, 情報理工学(系)研究科, 助教 (40557211)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | マルチメディア技術 |
|---|
| Research Abstract |
2種類のシステムを作成した。一つは、効果音を鳴らすタイミングや音量・再生時間の調節を半自動的に行うことで、動画製作における作業時間を短縮する効果音付加支援システムである。ユーザは付加させたい効果音と動画を読み込ませる。次に音が鳴る源となる物体（例：バウンド音を付加させたいならばボール）を選択する。物体を選択した後、検出したいタイミングとして、バウンド音のように物体の軌道・速度が変化したときに鳴る音の場合と、花火の音のように物体が出現もしくは消滅したときに鳴る音の場合のどちらかを選択する。その後、システムがタイミングを算出する。物体を選択しなければ、汽笛の音のように物体の動きに左右されずに鳴る音と判断し、ユーザが指定した区間内にランダムに配置、もしくはその区間に合うように効果音の再生時間の調節を行う。なお、入力動画に既に音が入っていた場合、その音と効果音がどちらも聞こえるように付加を行う。タイミングを算出した後、検出できなかったタイミングの付加や余分な場所の削除、音量の調節を行い、効果音付加動画として出力する。物体の速度を検出するために、Kalalらによって提案されたTLD（Tracking Learning Detection）を物体追跡手法として使用した。もう一つのシステムでは 、類似した動きの物体は類似した音を発するという仮定に立ち、音の貼り付けを行う。システムは、まず既存の音付き動画と無音動画を読み込み、それぞれの動画から画像特徴量を抽出する。続いて、無音動画の画像特徴量と既存の音付き動画の画像特徴量とのマッチングをとり、類似した部分の対応付けを行う。マッチング結果を基に、音データを切り抜いて、無音動画に貼り付ける。画像特徴量としてはオプティカルフローを採用した。ボールのバウンドの例では、音が適切な箇所に貼り付けられることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2種類のシステムを研究開発した。前処理部は計画通りに既存技術を用いた。検索のための特徴量としてはオプティカルフローを採用した。音と動画の対応を取る編集手法としては、各種の手法を検討し、物体の速度検出に，Kalalらによって提案されたTLD（Tracking Learning Detection）という手法を利用し、物体の出現・消滅の検出にはテンプレートマッチングを採用した。ボールのバウンド音、車の走行音、靴音などの音をデータベース化し、類似性などの判定にはソナグラムを使用した。研究成果として2編の論文を外部発表した。この内の一編である第4回データ工学と情報マネジメントに関するフォーラム(DEIM2012)にて発表した論文は、学生奨励賞を受賞した。
|
| Strategy for Future Research Activity |
おおむね計画どおりに推進する予定である。23年度では特徴量として各フレーム画像におけるオプティカルフローを用いた。24年度では、カメラ移動の考慮、オブジェクト以外の背景の除去、自然な貼り付け音を生成するための手法の検討といった編集部の改良を目指す。また、前処理部においては音の同期に対応する手法の検討を行うととともに、音データベースも拡充する。
|
| Expenditure Plans for the Next FY Research Funding |
おおむね当初の予定どおりに研究費を使用する計画である。
|
