4Dスキャン記録の時間軸編集による新しい時空間体験表現の研究

2018 Fiscal Year Research-status Report

• Project/Area Number: 18K12257
• Research Institution: Tokyo National University of Fine Arts and Music
• Principal Investigator: 桑原 寿行 東京藝術大学, 学内共同利用施設等, 助手 (60734598)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: 写真計測法 / videogrammetry / photogrammetry

Outline of Annual Research Achievements

本研究はフォトグラメトリ技術によって可能になった、3次元空間を時間的に記録する記録様式-4Dスキャンデータを用いた、新しい時空間体験表現を実現する芸術表現の実践的研究を通して、技法的研究基盤の開拓と制作環境の確立を行う。
初期段階には、フォトグラメトリ撮影による基礎実験から、最小構成の４Dキャプチャシステムの具体的な機材やシステム的要件の確定を実践的に検証した。初年度は4Dスキャンデータ取得の撮影システム構築を中心に進め、複数台の安定的なカメラレリーズ同期、焦点制御などを同時に行える撮影システムを目指した。USBを経由したカメラ同期はUSBの仕様上タイムラグが必ず発生するため、ラジオレリーズによる完全同期を検証し、高い安定性と同期性を実現した。フォトグラメトリ・ビデオグラメトリ記録におけるテクスチャ取得の問題点として、撮影時の環境光がテクスチャに陰影の濃淡としてそのまま残るため、影やハイライトを除去する後処理によるデライト処理が、環境光に左右されないテクスチャ取得には必須である。また後処理によるデライト処理は、色調補正であるがゆえにノイズを多分に含むため、正確なテクスチャを得るためには完全な手法とは言えない。これを回避するために、分散光を撮影対象となるオブジェクトを中心に円周状に設置することで均一な環境光によるテクスチャ取得を検証し、環境光のコントロールシステムを構築した。撮影環境の整備と並行して4Dスキャン記録における時間軸編集ツール開発のベース開発環境の検証/確定を実施した。時間軸編集ツール開発において高いレンダリング能力が重要であるため、リアルタイムレンダリング処理を得意とするゲームエンジンを中心的に調査を行った。また、最終的なデータのレンダリングと編集機能を統合しない、非同期処理による編集ツールの調査も行った。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

撮影環境の整備において、取得する３次元データの品質と予算的なバランスの兼ね合いから、数十台のカメラと、それに付随する機器の選定と収集が困難を極めた。また数十台に及ぶカメラの安定的な同期性とコンロールを実現するための検証作業において、同期性が機材的にセンシティブな要素が絡み、想定より多くの時間を要したため、撮影環境の十分な整備が遅れている。

Strategy for Future Research Activity

撮影環境の整備は遅れているが、問題となった技術的課題は解決できたため早急に充実させ、当初の計画スケジュールへと修正する。4Dスキャンデータに対応する新たなコンテンツ制作アプリケーション開発と、4D編集による時空間体験表現への応用および試作実験、を中心に進め、年度末に展示発表を行う予定である。

Causes of Carryover

研究計画における、撮影環境の整備が遅れており、十分な機器の整備に至らなかったため次年度使用額が生じた。
撮影環境の充実にかかる物品費、効果的な演出法抽出や分析にかかる人件費、研究成果を発表する展示経費等、成果物作品制作における人件費等による支出が見込まれる。