Support Systems and Interfaces for Videography and Photography

• Project/Area Number: 22KJ0348
• Project/Area Number (Other): 21J20162 (2021-2022)
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Multi-year Fund (2023); Single-year Grants (2021-2022)
• Section: 国内
• Review Section: Basic Section 62040:Entertainment and game informatics-related
• Research Institution: University of Tsukuba
• Principal Investigator: 鈴木 一平 筑波大学, 人間総合科学学術院, 特別研究員(DC1)
• Project Period (FY): 2023-03-08 – 2025-03-31
• Project Status: Declined (Fiscal Year 2023)
• Budget Amount: ¥2,200,000 (Direct Cost: ¥2,200,000); Fiscal Year 2024: ¥700,000 (Direct Cost: ¥700,000); Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000); Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000); Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
• Keywords: 写真撮影 / カメラ / ライティング / 照明 / インターフェイス / HCI

Outline of Research at the Start

映像制作において知識やノウハウが必要な部分をソフトウェアでサポートすることにより，制作時に意識すべき点を減らし，映像制作のハードルを下げ，映像の内容そのものへの注力を可能にする。研究は主に2つのパートから成る。（1）汎用センサを用いた環境センシング手法の確立：スマートフォンなどの汎用端末で撮影現場の空間情報を取得する手法について研究を行う。デジタル化した空間内で撮影結果のシミュレーションを可能にし，撮影者が望む映像との比較をしながら，パラメータ調節の最適解を導出可能にする。（2）人と計算機の協調による撮影環境構築手法の確立：実際に撮影環境を構築するインターフェイスの研究を行う。

Outline of Annual Research Achievements

本研究の目的は，映像制作において知識やノウハウが必要な部分をソフトウェアでサポートすることにより，品質の高い映像を制作することのハードルを下げることである。本年度は，ブツ撮りで静止画を撮影する際のライティングを，初学者が少ない設備で簡単に出来るようにし，写真の質を高めるためのシステムについて研究に取り組んだ。スマートフォンのセンサーおよび拡張現実向け機能を活用して，被写体に対して特定のライティングを再現し，長時間露光との組み合わせにより Free-form Lighting が行えるアプリケーションの開発を行った。被写体とスマートフォンの位置関係に応じて，特定のライティングとなるようデバイスのLEDライトを制御する。スマートフォンのLEDライトと長時間露光での撮影により，ライティングが再現可能かの検証を行った。また，ライティングの入力方法について，全天球画像の作成や実際の照明環境の取得など試行を行った。さらに，初学者が理解しやすくするためのインターフェイスについて要件整理を行った。具体的なユーザーが使うためのインターフェイス部分や，長時間露光のパラメータ推定や，撮影環境によって発生することがわかっているアーティファクトの回避などついては未だ模索中であり，来年度はまずそれらに着手する予定である。その他にも，再現性実験で使用が想定されるロボットアームの制御プログラムや，コンシューマ向けカメラの制御プログラムなど，今後の研究の基盤となるソフトウェアの開発を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

基盤となるアプリケーションの開発や先行研究の調査等は行ってきたものの，具体的なインターフェイスへの落とし込みやその評価についてはまだ行えていないため。

Strategy for Future Research Activity

アプリケーションの開発およびインターフェイスの検討を進め，再現性実験や撮影初学者による評価実験を行う。また，現在行っているライティング以外にも映像制作で行われているノウハウ・テクニックのサポートシステムについて検討を行う。