2017 Fiscal Year Annual Research Report

Interaction design and technological platform to enhance music experiences

Research Project

Project/Area Number	15K00691
Research Institution	Institute of Advanced Media Arts and Sciences
Principal Investigator	平林真実情報科学芸術大学院大学, メディア表現研究科, 教授 (10508477)
Project Period (FY)	2015-04-01 – 2018-03-31
Keywords	音楽体験 / インタラクションデザイン / 高可聴域音ID / サウンドパフォーマンス / センシング環境 / 360度VR映像
Outline of Annual Research Achievements	本年度は、引き続き高可聴域音による音声ID(USC)を利用した参加型音楽作品の展開、各種のセンサー類を用いた演奏者らの情報取得による表現の試み、360度VRネット配信による音楽体験の拡張についての研究を行った。USCによる音楽作品としては研究協力者のkafukaとの作品Sense of Space の新作の演奏を2回とインスタレーション型作品の制作と展示を「Kaleidoscape of Time」展にて行った。さらに、USCを用いた体験型音楽作品をオランダの作家であるDave Hagenとともに制作し同展覧会に展示した。センサを用いたシステムとしては、センサデバイスsenstickを用いて汎用IoTプロトコルを基盤とする情報取得環境を開発し、イベントでは演奏者にセンサを装着してもらいデータの取得とデータの可視化を継続的に実施した。また、これらのデータを映像表現として360度VR配信にも重畳することで、ネット視聴者に対して会場の状況を伝え臨場感を共有するための手法としても利用するシステムを開発した。また、音楽会場におけるテクノロジの導入に関するインタビューとアンケート調査を行い、音楽の現場にいかに広げていく方法について調査を行った。本研究全体を通しては、USCによって「観客が音で音楽に参加する」仕組みを基盤として、各種の会場や体験手法を試みながら研究を行なった。その展開としてインスタレーション作品としての展示なども実施した。研究の後半では、音楽会場における体験を拡張する手法としてセンサによる音楽会場での情報取得環境の構築、360度VRネット配信を核としたネット上での音楽体験の拡張の２点に注目した研究を行ってきた。これらの成果は、学会等で発表するだけではなく実際の音楽イベントの中で実施することで、音楽を楽しむという体験を拡張するための実践的な研究とすることができた。