Development of 3D video non-photorealistic rendering and physiological psychological evaluation using deep learning

2023 Fiscal Year Final Research Report

• Project/Area Number: 19K12664
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 90010:Design-related
• Research Institution: University of Nagasaki
• Principal Investigator: Hiraoka Toru 長崎県立大学, 情報システム学部, 教授 (30626891)
• Co-Investigator(Kenkyū-buntansha): 片山 徹也 長崎県立大学, 情報システム学部, 教授 (00612805) ; 井上 光平 九州大学, 芸術工学研究院, 准教授 (70325570) ; 野中 尋史 愛知工業大学, 経営学部, 准教授 (70544724)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: ノンフォトリアリスティックレンダリング / 3次元動画 / 心理生理評価

Outline of Final Research Achievements

In this research, we developed a new type of non-photorealistic rendering (NPR) and applied it to 3D videos, including the NPR developed by the applicants. Specifically, we developed a method to generate flicker-free moire-like videos from RGB-D videos.
We also investigated a method for evaluating NPR images from physiological and psychological aspects using an eye tracker. The results of the experiment showed that it is possible to estimate the parameter values that make subjects look better when generating an NPR image by arranging two NPR images side by side.

Free Research Field

地理空間情報工学

Academic Significance and Societal Importance of the Research Achievements

新しいタイプのNPRを開発し，NPRを3次元動画に適用する研究は，動画専用カメラやステレオカメラを搭載したスマートフォンの今後の普及を先取りしたものである．3次元動画のNPRに関する研究は，デザインやアミューズメント，エンターテイメントの分野で活用できる．また，個人情報保護や情報セキュリティの観点からSNSやWebsiteなどで人や商品，看板を特定されたくない場合，単にぼかしやモザイクではなく，本研究の成果を用いればアーティスティックな表現が可能となる．
NPRの生理心理評価は，デザイン分野全体に世界的なインパクトを与える．また，デザイン学のみならず情報学の分野にも大きく貢献できる．