動的スクリーンを用いた映像と音響が協調した新たなデジタルサイネージの開発研究

2013 Fiscal Year Research-status Report

• Project/Area Number: 24603038
• Research Institution: Tohoku University of Art and Design
• Principal Investigator: 酒井 聡 東北芸術工科大学, デザイン工学部, 講師 (90515157)
• Keywords: 情報コンテンツ / 感性デザイン / ヒューマンインタフェース / 感性インタフェース

Research Abstract

これまでにも増してデジタルサイネージ分野の技術は関心が寄せられており、その技術においても日進月歩である。そのような状況の中で、本研究では液晶ディスプレイなどではなく映像投影を行うプロジェクションマッピングの技術を応用し、動的に変化する投影面を持ったデジタルサイネージの研究・開発、またその際に使用する映像や音響などをマルチモーダルに用いたコンテンツの研究・開発をすることを目的としている。
平成25年度では、前年度やや遅れていた研究実施計画「1. 動的スクリーンに用いる物体の試作・検証」については、研究者が研究代表者を務めるJST 復興促進プログラム（マッチング促進）「動的に変化する物体形状に合わせた映像投射を実現するためのスクリーン面マーカー構造形成ならびに評価技術の確立」で研究開発を行なっているスクリーンの技術を応用し、動的スクリーンに相応しい形状・素材を検討した。
また、研究実施計画「2. 動的スクリーンに最適な映像や音響といったコンテンツの開発」について映像投影プログラムの作成・検証を昨年度と同様の方法を用いて行なった。具体的にはMicrosoft Kinectを用いて動的に変化する物体形状を認識し映像の形状を変形、プロジェクタから映像投影を行った。スクリーン形状に対する画像変形の追従速度、スクリーン形状の変化と同調する映像コンテンツとは何かを中心に検証を重ねた。音響コンテンツについても、昨年度の研究開発中に独自性・汎用性が高いと判断した超指向性スピーカを用いた音響実験装置を制作し、映像・音響の同調を試みた。
加えて、デジタルサイネージとして想定される用途、利用分野、市場を検証するためにサイネージで用いられるインフォグラフィクス、プロジェクションマッピングの専門家、利用分野として多いに可能性のあるメディアアート分野の視察を行なった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

一昨年度に研究機関を移籍したため、一昨年度の達成度は「やや遅れている」であったが、昨年度は研究者が研究代表者を務める研究開発の技術を応用することで遅れを挽回し当初の予定通りの達成度となった。特に、昨年度の実施報告12.今後の研究の推進方法にある「1. 平成24年度研究開発における作業の遅延復旧」については、研究目的「1. 動的スクリーンに用いる物体の試作・検証」のB) 移動する物体、C) 動的に変化する物体、D) その他（顔や手などの人体表面）について研究者が研究代表者を務める研究開発の技術を応用し、全ての項目について検証実験を行った。その結果、B) 移動する物体、C) 動的に変化する物体の両方の要因をもったスクリーンに研究対象を絞ることとした。
また、今後の研究の推進方法「2. 動的スクリーンに最適な映像や音響といったコンテンツの開発」では、超指向性スピーカを用いた音響出力装置の試作を重ね、動的スクリーンの形状変化に同期して音響を出力できるようになった。しかしながら、映像コンテンツについては、自身での試作段階でありコンテンツの外注までには至っていない。次年度外部発表に合わせてコンテンツの外注を行う予定である。
加えて、今後の研究の推進方法「3. デジタルサイネージなど想定される用途・利用分野・市場の検証」として、メディアアートなどの展覧会、プロジェクションマッピング専門家の講演などに出向き情報収集に務めた。その結果、プロジェクションマッピングの一般市民への認知が高まっており、用途・利用分野・市場の全てにおいて可能性が高まっていることが確認された。
以上のことから、研究目的にある「１.動的スクリーンに用いる物体の試作・検証、２. 動的スクリーンに最適な映像や音響といったコンテンツの開発、３.想定される用途、利用分野、市場の検証」についておおむね順調に進展していると判断する。

Strategy for Future Research Activity

平成25年度までに得られた結果を基にして、以下の内容について採択最終年度である平成26年度の研究開発を実施する。
1. 研究成果の外部発表用のデモンストレーション用機材の制作とコンテンツの制作：平成25年度までの研究開発で明らかになった動的スクリーンとそれに最適な映像・音響のコンテンツについて成果をまとめ外部発表用のデモンストレーション機を作成する。動的スクリーンについては、研究当初は3次曲面・自由形状などが形状を自由に変化さするカーテンのような物を想定していたが、映像投影プログラムを開発する中で画像処理演算が高度化・複雑化してしまい激しい変化（30fps以上の速度での変化やスクリーン形状の元々の形状が認識されないような形状変化）には対応することが難しいことが明らかになったため、変化量が少なく変化速度も早くないものを動的スクリーンとして用いることとした。この課題についての解決策としては、技術提供を受けているプログラムの改変やPCやGPUといったハードウェアの性能向上を期待するしかないため、動的スクリーンの変化を少なくし現状のハードウェアでも十分に対応可能な範囲のものを用いることとした。また、デモンストレーション機、コンテンツの制作については、研究開発の魅力を十分に伝えるために相応しいデザイナーやアーティストに協力・外注をを行う。
2. 研究成果の外部発表：研究開発によって得られた成果を一般市民が参加可能な会場・イベントにおいて、上記デモンストレーション機を展示し発表をする。外部発表の会場・イベントとして想定しているのは、メディアアートやデザインなどの展覧会、美術館・博物館の企画展である。外部発表を通して、研究成果の用途、利用分野、市場の検証を再度行いたい。

Expenditure Plans for the Next FY Research Funding

平成25年度において映像・音響コンテンツの外注を行う予定であったが、研究開発の状況から研究最終年度に予定しているデモンストレーション機の作成、それに伴う映像・音響コンテンツの外注を行うほうが適切であると判断したため支出しなかった。
平成26年度において、研究開発の多くは研究成果の外部発表に用いる予定である。そのため、これまでの研究成果を踏まえたデモンストレーション機の制作費用、それに伴う映像・音響コンテンツの外注費、さらには外部発表に関わる出展費・旅費などに使用する計画である。