• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

映像と音楽リズムの同期によるマルチメディアコンテンツ作成

研究課題

研究課題/領域番号 17700107
研究種目

若手研究(B)

配分区分補助金
研究分野 メディア情報学・データベース
研究機関大阪大学

研究代表者

新田 直子  大阪大学, 大学院工学研究科, 助手 (00379132)

研究期間 (年度) 2005 – 2006
研究課題ステータス 完了 (2006年度)
配分額 *注記
3,500千円 (直接経費: 3,500千円)
2006年度: 1,500千円 (直接経費: 1,500千円)
2005年度: 2,000千円 (直接経費: 2,000千円)
キーワード映像編集 / コンテンツ制作 / 映画予告映像 / マルチメディア / 空間構造 / 時間構造 / リズム同期 / 感覚的調和 / 編集ルール / テンポ同期
研究概要

魅力あるマルチメディアコンテンツにおいて、これを構成する動画・音などの複数の要素メディアの感覚的な調和が重要となる。本研究ではこの感覚的調和が要素メディアの時間・空間構造から生成されていると考え、素材映像の編集において、これらの構造を恣意的に作り出すことにより、魅力ある新たなコンテンツの制作を目指す。本年度は昨年度に引き続き、目的とする編集映像の理想例の一つである映画予告映像を対象に、動画・音ストリームをショットの並びとみなした上で、1)ショット列の時間構造、2)音ストリームとショット切り替えの空間構造を学習し、実際の映像編集への応用に取り組んだ。
1)ショット列の時間構造
ショット中の動きやショット長などに基づき、ショット列の時間構造を隠れマルコフモデルにより学習した。映画予告映像への適合度に基づいた学習モデルの評価の結果、主観的に映像のリズムの変化が感じられる境界とモデルにおける最適状態変化の境界がほぼ一致し、映像のリズム構造、及び各映像構成部分において頻出するショットの特徴が良好に学習されたことが示された。
2)音ストリームとショット切り替えの空間構造
音ストリーム上の聴覚的特徴変化をマルコフ連鎖モデルにより学習し、ショット境界モデル、非ショット境界モデルを作成した。ショット境界モデルへの適合度に基づき、再現率63.5%でショット境界との同期付けに適当なフレームを音ストリームから検出することが可能となった。
3)音と動画を用いた映像編集への応用
特に音ストリームとショット切り替えの空間構造に着目し、入力されたショット列とさまざまな種類の音楽や効果音を含んだ音ストリームから作成した映像と、同じショット列と音ストリームを単純に整列した映像を比較する9人の被験者による主観評価の結果、聴覚的変化とショット境界の関係に着目した上で、平均98.3%の被験者により、前者の方がより質が高いと評価された。

報告書

(2件)
  • 2006 実績報告書
  • 2005 実績報告書
  • 研究成果

    (9件)

すべて 2007 2006 2005

すべて 雑誌論文 (8件) 産業財産権 (1件)

  • [雑誌論文] 映像編集支援のための事例映像に基づいたショットからの編集区間抽出2007

    • 著者名/発表者名
      栗原陽介, 新田直子, 馬場口登
    • 雑誌名

      電子情報通信学会2007年総合大会

      ページ: 1-1

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] Analysis of Audio-Visual Synchronous Patterns in Edited Videos - Towards an Aid for Attractive Video Editing2006

    • 著者名/発表者名
      Naoko Nitta, Noboru Babaguchi
    • 雑誌名

      電子情報通信学会技術研究報告 Vol. 106 No. 376

      ページ: 129-134

    • NAID

      110005717936

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] 編集映像におけるリズムに基づいた動画と音の同期パターン分析2006

    • 著者名/発表者名
      新田直子, 馬場口登
    • 雑誌名

      平成18年度 電気関係学会東海支部連合大会

      ページ: 2-2

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] 映像編集支援を目指した映画予稿映像からのショット時系列パターンの学習2006

    • 著者名/発表者名
      姜国臻, 新田直子, 馬場口登
    • 雑誌名

      画像の認識・理解シンポジウム2006 (MIRU2006)

      ページ: 824-829

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] データ工学とメディア理解との融合-大量データにおけるパターン認識を扱う新しい枠組みは?-2006

    • 著者名/発表者名
      井手一郎, 新田直子, 尾関基行, 中村裕一
    • 雑誌名

      電子情報通信学会技術研究報告 Vol. 106 No. 99

      ページ: 51-56

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] 映像編集支援のための事例映像における音と動画の同期パターン解析2006

    • 著者名/発表者名
      秋月達人, 新田直子, 馬場口登
    • 雑誌名

      電子情報通信学会技術研究報告 Vol. 106 No. 100

      ページ: 31-36

    • NAID

      110004751965

    • 関連する報告書
      2006 実績報告書
  • [雑誌論文] Video Scene Retrieval with Symbol Sequence Based on Integrated Audio and Visual Features2006

    • 著者名/発表者名
      K.Morisawa, N.Nitta, N.Babaguchi
    • 雑誌名

      Proc.SPIE-IS&T Electronic Imaging Vol.6073

      ページ: 10-10

    • 関連する報告書
      2005 実績報告書
  • [雑誌論文] 編集映像における動画と音ストリームのリズム同期について2005

    • 著者名/発表者名
      秋月達人, 新田直子, 馬場口登
    • 雑誌名

      第4回情報科学技術フォーラム(FIT2005)

      ページ: 2-2

    • 関連する報告書
      2005 実績報告書
  • [産業財産権] 映像編集支援装置2006

    • 発明者名
      馬場口登, 新田直子, 秋月達人
    • 権利者名
      馬場口登, 新田直子, 秋月達人
    • 産業財産権番号
      2006-164045
    • 出願年月日
      2006-06-13
    • 関連する報告書
      2006 実績報告書

URL: 

公開日: 2005-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi