2016 Fiscal Year Research-status Report

音楽体験を拡張するための基盤技術とインタラクションデザイン

Research Project

Project/Area Number	15K00691
Research Institution	Institute of Advanced Media Arts and Sciences
Principal Investigator	平林真実情報科学芸術大学院大学, メディア表現研究科, 教授 (10508477)
Project Period (FY)	2015-04-01 – 2018-03-31
Keywords	音楽体験 / インタラクション / 音声ID / 音楽会場 / IoT / VR / 高可聴域音
Outline of Annual Research Achievements	高可聴域音ID(USC)を使った参加型音楽作品については、大阪の結音茶舗でのインスタレーションに近い形での実演とID音をステレオに分けることで演奏上の不要音を抑え音楽性を高めたバージョンを渋谷CircusにおけるNxPC.Liveにて演奏した。ネットワーク環境への音楽体験の拡張に関しては、ここ２年で急速に発展した全天周カメラによるネット中継を音楽会場に適用することで、会場空間の拡張と、ネットワーク上の観客とのインタラクションを行う実験を３回のイベントにて実施した。株式会社GOCCO.株式会社リコーらが中心となって実施した音楽イベントclub360では、本会場である大垣市とサテライト会場である東京をVR中継で繋ぐことで会場空間の拡張と中継映像へのVJ映像の重畳を行なっている。Ogaki Mini Maker Faire におけるVR中継では、VR中継を見ている観客からの反応をVR中継への重畳映像として観客が共有することで体験を高める実験を行なった。3月に渋谷のCircus Tokyoで実施した音楽イベント「NxPC.Live vol.27」でもVR配信を行なっている。昨年度から進めていたセンサーデバイスやスマートウォッチなどによる音楽会場におけるアーティストの動きや環境情報の取得に関してもNxPC.Live.vol.27においてシステムの制作と実験を行なった。複数のBLEセンサーデバイスやスマートウォッチをアーティストや観客に装着してもらい、また会場にも配置することで、それらのデータをIoTプロトコルであるMQTTによってネットワーク上で集積し、データベースへの格納と同時にデータによる可視化を会場映像として提示した。これらのデータは会場情報として解析し、会場内インタラクションに応用していくことになる。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 昨年度は、従来からの研究内容に加えて、会場の臨場感をネットワークを介して伝えるのに適した360度カメラを用いたVR中継システムと、センサーデバイス及びIoTプラットフォームを音楽会場への適用することによるアーティストや観客などの情報取得に注目した活動を行なった。高可聴域音ID(USC)に関しては、音声IDの2chへの振り分けによる不要音の発生の低減とIDへの応答性と応答範囲を調整しつつシステムの改良を行なっている。改良の上、音楽会場での実演と、同時に本システムの展示会場での音声に合わせた案内表示などの応用に向けての企画が進んでいる。急速に普及したVR環境及び360度全周配信システムをいち早く音楽体験を拡張するための利用を試みも進んでおり、club360,Ogaki Mini Maker Faireにおける実演において、VR配信やVR制作環境・VR視聴環境を映像の重畳によりつないだことで、ネットワークを介した会場の拡張と観客の相互インタラクションの実現に可能性を見出すことができた。これらについては順次、学会等で発表していく予定である。また、センサーデバイスによる音楽会場におけるアーティストの動作情報、会場環境情報などの取得はIoTベースのシステムを応用することで実験が進んでおり、音楽会場における問題点を洗い出し安定したデータ取得が可能になりつつある。これらのデータを利用した可視化や分析をさらに進めたい。音楽会場におけるインタラクションに関してのインタビューも注目するイベンターやアーティストに対して行なっており、annostudio深町昭記氏、BRDG代表の福沢恭氏,アーティストのkezzardrixこと神田竜氏に意見を伺うことができている。
Strategy for Future Research Activity	最終年度となる本年度は、システム開発とその展開としての音楽イベントをさらに充実させて成果を発表していく。特に、IoTプラットフォームを利用した音楽会場におけるアーティストや環境情報の取得とその分析による会場演出への応用とデータの機械学習への適用、360度VR配信によるネットワーク上の観客と会場とのインタラクションの実現などの試みを進める。システム開発とインタラクション研究を進めるとと同時に音楽会場において、実際に音楽イベントを実施していくなかでの実験・検証が必須であったが、本年度では、研究協力者として音楽会場やイベント企画者を加えることで、継続的に東京での本格的な音楽会場（クラブ）においてイベントを実施できる予定である。この一連のイベントにおいては、本研究の実施はもとより音楽会場のおけるインタラクションを含む音楽会場にて様々な先進的・実験的なことを実施しているアーティストや大学関係者を集めた複数回の一連の音楽イベントとして実現していく。このイベントにより音楽会場におけるインタラションにおける実践的なフィードバックを得ると共に、音楽会場における先進的な試みを行っている人たちのコミュニケーションを図り、今後の研究領域として連携できる場として利用していく。また、高可聴域音ID(USC)による作品展開を行うと同時に、USCをオープンなライブラリとして公開し、また音楽会場のおける情報取得手法についても可能な限り後悔しながら、活用を促進していきたい。音楽イベントにおける実施と作品展示、学会等における発表と技術の公開を進めることで、音楽会場におけるインタラクション基盤として成果を示す。
Causes of Carryover	旅費の場所や消耗品（ソフトウェア）等の購入において若干の差が生じた。
Expenditure Plan for Carryover Budget	次年度において適切に執行する。