研究課題/領域番号 |
23KJ0284
|
研究機関 | 筑波大学 |
研究代表者 |
近藤 生也 筑波大学, 人間総合科学学術院, 特別研究員(DC1)
|
研究期間 (年度) |
2023-04-25 – 2026-03-31
|
キーワード | メタバース / 仮想現実 / デジタル著作権管理 / ピア・ツー・ピア / クラウドレンダリング |
研究実績の概要 |
2023年度は、申請者が以前発表した Deep Billboard をベースに、この1,2年で新しく登場した Stable Diffusion 等の画像生成モデルや NeRF / Gaussian Splatting 等の3D再構成手法と組み合わせてより広い応用の可能性を模索することからはじめた。その中で、特に不特定多数が参加するパブリックな仮想世界において、Billboard という表現手法は深層学習を用いる場合に限らず、1. オブジェクトを配置する側が任意のレンダラーを使える、2. オブジェクトを配置する側がそのデータを共有する必要がない、というメリットがあり、さらに映像等の通信の規格だけを定義すれば不特定のユーザーが自分のオブジェクトをパブリックな仮想世界に自由に安全に配置できるようになるという考えに至った。申請者は検証のためネットワーク越しのユーザー同士で Billboard ベースのオブジェクトを配置・閲覧できるデモアプリを開発し、Stable Diffusion などの最新の画像生成モデルも3Dオブジェクトのように配置できること、また3Dアバターのような盗まれたくないオブジェクトも実用に足る解像度と十分小さな遅延で、3Dオブジェクトのように配置できることを確認した。またこの表現手法について日本国内で特許出願を行い、特許を取得した。同時にCG系の学会に投稿したが通常のクラウドレンダリングとの差や評価実験の少なさを指摘され拒絶されてしまっており、主張を明確にして再投稿する予定である。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
仮想世界のオブジェクトの多様化を目指し、当初は映像生成を使った3D物体表現をベースに深層学習によるリアルタイム映像予測の部分に注力する予定であった。しかし昨今新しい3D再構成の手法が多く登場していること、一方で一般的なリアルタイム映像予測はまだ難しいことなどを踏まえ、マクロな目的は同じままパブリックな仮想世界に自由に安全にオブジェクトを配置するための映像通信を使った3D物体表現の研究に切り替えた。もともと想定していた個別研究とは変わっているが一定の成果が出ているため、上記のような評価とした。
|
今後の研究の推進方策 |
今年度行った研究のパブリッシュを目指して再投稿に取り組みつつ、当初予定していた深層学習による映像データから時空間再現の研究も再開していく。
|
次年度使用額が生じた理由 |
当初は新しい深層学習モデルの開発とそのデータ生成のために経費を計上していたが、深層学習モデルを含めたレンダリングと映像通信に重点をおいた研究にシフトしたため、GPUサーバーの利用料とデータ収集のためのVR機材が不要になり、一方でレンダリングのためのGPUと複数端末間の映像通信の実験のためのミニPCを複数計上した。次年度使用額が約20万円発生したのは主に学会論文不採択によって渡航費が浮いたためであり、次年度採択され次第使用する予定である。また次年度以降はもとの研究に取り組む予定で、その他はもとの計画通り予算を使用する予定である。
|