動的スクリーンを用いた映像と音響が協調した新たなデジタルサイネージの開発研究

2012 Fiscal Year Research-status Report

• Project/Area Number: 24603038
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Tohoku University of Art and Design
• Principal Investigator: 酒井 聡 東北芸術工科大学, デザイン工学部, 講師 (90515157)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Keywords: 情報コンテンツ / 感性デザイン / ヒューマンインターフェイス / 感性インタフェース

Research Abstract

昨今、デジタルサイネージ分野の技術にはこれまで以上の関心が寄せられており、その技術の進歩も日進月歩である。そのような状況において、本研究では通常のディスプレイではなくプロジェクションマッピングの技術を用いた動的に変化する投影面をデジタルサイネージとして扱う方法、またその際に使用する最適なコンテンツを映像や音響などをマルチモーダルに扱い検証・開発することを目的としている。
平成24年度では、まず第一に既存のデジタルサイネージの調査を行った。建築物へのプロジェクションマッピングが社会的に広く行われ一般的にも認知が広まったと言える。一方、通常のディスプレイを用いたデジタルサイネージは、商業施設や公共施設などで多く設置されてはいるものの稼働率が低いことがわかった。以上のことから、既存のデジタルサイネージとの差異を打ち出すことができ応用性の高い研究課題であることがわかった。
次に複雑な投影面に映像を投影しスクリーン形状の検証を行った。検証には、 東北大学青木グループらが有する3次元画像センシング、映像信号処理の技術を基盤に汎用性の高いMicrosoft Kinectを用い検証した。検証の手順は以下の通りである。①Microsoft Kinectで投影物の形状の認識を行い、②コンピュータ上で仮想的にモデリングし、③物体の位置・姿勢・表面形状を考慮した映像を投影することで、様々な 3次曲面・自由形状の構造物をスクリーンとして活用可能かを検証した。動的に変化する物体などへの映像投影検証については遅れが出ており、次年度にて早急に行いたい。
加えて、 動的スクリーンに最適な映像や音響といったコンテンツの開発として立体的なスクリーン形状に超指向性スピーカによって音響を出力することでスクリーン形状と同期させることが可能なのではないかと仮定し、音響実験装置を試作しコンテンツ開発と共に検証中である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

遅れの原因として採択後、年度途中で研究機関を移籍したため施設・設備の再調整などがあったため研究の検証・開発の作業全般に遅れが生じている。特に平成24年度研究実施計画「1. 動的スクリーンに用いる物体の試作・検証」において、当初 A) 3次曲面・自由形状の構造物、B) 移動する物体、 C) 動的に変化する物体 、D) その他（顔や手などの人体表面）の４項目において映像投影の検証を行う予定であったが、実施できたのはA)の項目に止まった。しかしながら、A)の項目を検証するためのプログラム作成・機器の準備などはB)、C)、D)において応用可能な技術である。そのため検証する技術・設備などが整ったため4月下旬現在、B)、C)、D)の検証を行なっており年度前半には完了する予定である。
平成24年度研究実施計画「2. 動的スクリーンに最適な映像や音響といったコンテンツの開発」については、動的スクリーンに合わせた新たな音響出力の方法を検証するため音響実験装置の試作は行ったが、コンテンツの試作を行うには至らなかった。しかしながら、音響実験装置の試作までは完了しているため現在様々なコンテンツ開発を行なっている。映像コンテンツについては、「1. 動的スクリーンに用いる物体の試作・検証」の遅れもありコンテンツ試作の外注まで及ばなかったため、当初平成25年度に予定されているコンテンツ開発に組み込みを行っていきたい。
以上のことから、 平成24年度研究実施計画の予定よりもやや遅れが生じている状況ではあるが、次年度中に挽回可能な範囲であり次年度予定されている研究項目と共に研究を実施する。

Strategy for Future Research Activity

平成24年度に得られた結果を基にして、以下の内容について平成25年度では研究を実施する。
1. 平成24年度研究開発における作業の遅延復旧：平成24年度の研究において遅延している「1. 動的スクリーンに用いる物体の試作・検証」B) 移動する物体、 C) 動的に変化する物体 、D) その他（顔や手などの人体表面）についての検証を行う。また、「2. 動的スクリーンに最適な映像や音響といったコンテンツの開発」のコンテンツ開発においては下記「2. 動的スクリーンに最適な映像や音響といったコンテンツの開発」に組み込みを行う。
2. 動的スクリーンに最適な映像や音響といったコンテンツの開発：1. において収集したスクリーンの形状と画像補正のアルゴリズムのデータベースから3次元画像センシング、映像信号処理の技術の最適化を試みる。また、それらの結果からより最適な映像・音響コンテンツの開発に努める。
3. デジタルサイネージなど想定される用途、利用分野、市場の検証：平成24年度において行なった既存のデジタルサイネージの調査を活かし下記の用途、利用分野、市場における応用領域の検証を行う。A) 公共のデジタルサイネージとして各種情報提示・広告などの応用展開、B) 医療分野やコスメ、アパレル、非常事態での活用などへの応用、C) メディアアートなどの芸術分野の新表現の開拓 → 上記の応用領域それぞれに本研究は可能性を秘めていると考えられるが、それらを如何に専門的な知識がなくとも容易に扱え、コンテンツの入れ替えが行える運用方法も検証も行う。特に非常事態での活用時には、投影するスクリーンに対して柔軟に対応できる本研究で開発するサイネージは、ディスプレイを用いた通常のサイネージよりも一度に多くの人に情報を提供可能なため安定した運用方法の検討が必要である。

Expenditure Plans for the Next FY Research Funding

平成24年度、研究の遅れからコンテンツの試作までに至らなかったため、該当する研究費を平成25年度に繰越を行った。平成25年度に計画していた映像・音響コンテンツ外注費に繰越分を加え、試作と本制作を行う予定である。
また平成25年度では、設備の導入は予定していない。消耗品として大容量高速記録ストレージデバイスの購入に加え、当初計画にはない短焦点プロジェクターを実験用装置として購入予定である。理由としては、プロジェクターの技術開発が予想よりも進んでおりFullHD規格の映像を投影できる短焦点プロジェクターが安価となり研究の遂行をより早め遅れを取り戻すためである。旅費としては、研究内容の発表のため学会への参加分を見込んでいる。予定では、日本デザイン学会を考えていたが研究の進捗度から成果を発表可能な時期に開催される芸術工学会へと変更する。その他の予算として、映像の投影技術などに用いるソフトウェア開発の外注費を計画している。