2021 Fiscal Year Research-status Report
Capturing the Reality : A New Artistic Expression
| Project/Area Number |
21K00189
|
|---|
| Research Institution | Tokyo National University of Fine Arts and Music |
|---|
Principal Investigator |
桑原 寿行 東京藝術大学, 学内共同利用施設等, 講師 (60734598)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 4D / volumetric capture / リアルタイムエンジン / メディア表現 / 実写表現 / 芸術表現 |
|---|
| Outline of Annual Research Achievements |
今年度は4Dスキャンメディアを用いた新たな実写表現のための、1.芸術表現応用のためのアプリケーション開発と2.制作環境・ワークフローの確立を中心に研究を進め、1.2.の基盤的な研究開発を行なった。
1.芸術表現応用のためのアプリケーション開発では、4Dスキャンメディアが持つ特性である時空間的な「真正性」を重視しながら、編集や再生環境を構築するリアルタイムエンジン上での4Dを格納するデータ形式や、安定的な再生システムについて検証した。1秒24フレームでの4D描画システムを検討し、Geometry Cache技術による4Dの映像的な描画と、そのフレーム描画ごとの質感を再現するマテリアル描画システムを構築することで、リアルタイムレンダリングにおける表現応用を主体とした高精細な描写を実現した。
2.制作環境・ワークフローの確立では、4Dスキャンメディアの特性に基づいた4Dスキャンデータ取得に最適化した撮影システムを構築し、制作環境の整備を実施した。撮影システムでは、表現応用性の高いものとして検討してきた、人物の上半身に特化したキャプチャシステムを構築し、キャプチャ範囲内に人物を保持するための補助具の設計や、キーイング処理によるキャプチャノイズを低減する撮影システムを実現した。実制作に基づくワークフローを検討し、生成された膨大な4Dスキャンデータをリアルタイムエンジン上で操作可能にするためのデータ削減とテクスチャ生成の自動化手法を検証した。ソフトウェアHoudiniを用いたプロシージャルな自動処理システムを構築し、4D形状の分布と密度を評価することで、不均等なポリゴン分布によるメッシュ生成を行い、大幅なデータ量削減を実現した。4Dスキャンデータの質感再現に用いるテクスチャ生成においても、同様な評価を行うことでUV分布比率を最適化し、色情報、質感情報それぞれの出力までを自動化した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度に中心的な研究内容として計画していた1.芸術表現応用のためのアプリケーション開発、2.制作環境・ワークフローの確立は概ね順調に推進できている。世界的な半導体不足による物品調達の遅れなども撮影システム構築において部分的に影響したが、想定していた物理的な追加構成に頼らない部分でのシステム最適化を進め、さらに1.芸術表現応用のためのアプリケーション開発を重点的に進めることで物理的な調達遅れが発生した研究計画を補った。また1.2.双方で致命的な問題が発生せず、想定していたシステムと大きな乖離がなく研究を進めることができた。
|
| Strategy for Future Research Activity |
今後は3.「新たな実写表現」の試作実験を中心に研究を進め、従来の映像メディアが用いる画面やスクリーンを介したユーザビリティを前提とした映像表現の延長ではなく、「新たな実写表現」としての視聴体験インタフェースの開発と、体験空間自体を加味した「新たな実写表現」の描画方法などを検証するために、包括的表現効果を持つインスタレーション表現作品へ展開し、試作を行う。鑑賞体験が持ちうる「新たな実写表現」の演出効果について鑑賞者へアンケート調査や体験時のふるまいの観察を行い、どのような演出や鑑賞体験が時空間的な「真正性」に準拠する新しい表現可能性かを考察する。実制作を通して表現効果や表現可能性を体系化し、新たな表現技法としての確立を目指す。
|
| Causes of Carryover |
世界的な半導体不足により、必要としていた物品（CPU、マザーボード、グラフィックボード、カメラ）の発売遅れと、品薄状態が長期的に続き入手困難となった。また上記の影響により、多くの物品が通常の価格に対して大幅に値上がったため、今年度における物品の購入計画を見直し、研究予算上影響の少ない物品のみを本年度で支出した。次年度使用額として繰り越した残額は、情勢を鑑みながら代替品などを検討することで、物品を再構成し、次年度内に支出予定である。物品の調達遅れにより遂行できなかった撮影システムの超高精細化は次年度への計画へと変更した。
|
Research Products
(2 results)
