全方位映像から音楽情報へのメディア変換に基づく視覚情報の伝達

Bibliographic Information

Other Title
  • ゼンホウイ エイゾウ カラ オンガク ジョウホウ エ ノ メディア ヘンカン ニ モトヅク シカク ジョウホウ ノ デンタツ
  • Media Conversion from Omnidirectional Vision to Auditory Signal
  • 統合的音楽システム

Search this article

Abstract

特定のメディアでの通信や提示が利用できない状況などにおいて,信号を異なるメディア上の表現に変換して伝達するメディア変換の研究が行われている.従来のアプローチでのメディア変換は,パターン識別処理により識別された対象に応じ特定の信号を再生する方法や,形容詞などの感性語を介して対応づける感性情報処理の方法など,抽象度の高い表現を介した変換方法であった.本論文では,信号をより直接的に変換する新しいメディア変換手法を提案する.はじめに,環境内の様子を全方位カメラで撮影した映像を利用して,多数の画像特徴を音楽特徴に対応づけることにより音楽を生成する変換手法を提案する.次に複数の全方位カメラを用い,全方位画像の特性を利用して簡易に空間的な情報を伝達する手法を説明する.提案したメディア変換の有効性と可能性を確認するため被験者実験を行い,生成された音楽のみを聞くことにより環境内の様子を理解できることを確認した.  付録:<a href="http://www.ipsj.or.jp/08editt/contents/JNL4801/index.html#26"target="_brank">http://www.ipsj.or.jp/08editt/contents/JNL4801/index.html#26</a>

A considerable number of studies have been performed on media conversion that converts a signal in a media into another media. In past studies, the signal in a media is converted into a symbolic representation such as adjectives before represented in another media. However, much information is lost during the abstraction process. In this paper, first we propose a direct conversion method based on mapping from visual features in omnidirectional images to musical features. Then we expand the proposed media conversion method to multiple omnidirectional camera network to represent spatial information in the environment. In experiments, we have confirmed that subjects can imagine the original visual scene only by listening to the music that is generated by the proposed method. appendices:<a href="http://www.ipsj.or.jp/08editt/contents/JNL4801/index.html#26"target="_brank">http://www.ipsj.or.jp/08editt/contents/JNL4801/index.html#26</a>

Journal

Citations (2)*help

See more

References(27)*help

See more

Related Projects

See more

Details

Report a problem

Back to top