| Project/Area Number |
23KJ0284
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
近藤 生也 筑波大学, 人間総合科学学術院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-04-25 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,800,000 (Direct Cost: ¥2,800,000)
Fiscal Year 2025: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2024: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2023: ¥1,000,000 (Direct Cost: ¥1,000,000)
|
|---|
| Keywords | メタバース / 仮想現実 / デジタル著作権管理 / ピア・ツー・ピア / クラウドレンダリング |
|---|
| Outline of Research at the Start |
本研究では、映像等から物理世界の非剛体物体(食べ物・衣服・顔など)を自動で計算機上に再現し、それを仮想世界内でヒトや汎用AIがリアルタイムに利用できるようにすることを目指す。「状況に応じて尤もらしい外観を生成できれば、正確で高解像度な三次元復元は必ずしも必要ない」という着想のもと、①長時間予測した際の破綻の軽減、②物体とのインタラクションの再現、③メタ知識を使った学習データの軽量化、に取り組み、実利用化を目指す。
|
| Outline of Annual Research Achievements |
2023年度は、申請者が以前発表した Deep Billboard をベースに、この1,2年で新しく登場した Stable Diffusion 等の画像生成モデルや NeRF / Gaussian Splatting 等の3D再構成手法と組み合わせてより広い応用の可能性を模索することからはじめた。その中で、特に不特定多数が参加するパブリックな仮想世界において、Billboard という表現手法は深層学習を用いる場合に限らず、1. オブジェクトを配置する側が任意のレンダラーを使える、2. オブジェクトを配置する側がそのデータを共有する必要がない、というメリットがあり、さらに映像等の通信の規格だけを定義すれば不特定のユーザーが自分のオブジェクトをパブリックな仮想世界に自由に安全に配置できるようになるという考えに至った。申請者は検証のためネットワーク越しのユーザー同士で Billboard ベースのオブジェクトを配置・閲覧できるデモアプリを開発し、Stable Diffusion などの最新の画像生成モデルも3Dオブジェクトのように配置できること、また3Dアバターのような盗まれたくないオブジェクトも実用に足る解像度と十分小さな遅延で、3Dオブジェクトのように配置できることを確認した。またこの表現手法について日本国内で特許出願を行い、特許を取得した。同時にCG系の学会に投稿したが通常のクラウドレンダリングとの差や評価実験の少なさを指摘され拒絶されてしまっており、主張を明確にして再投稿する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
仮想世界のオブジェクトの多様化を目指し、当初は映像生成を使った3D物体表現をベースに深層学習によるリアルタイム映像予測の部分に注力する予定であった。しかし昨今新しい3D再構成の手法が多く登場していること、一方で一般的なリアルタイム映像予測はまだ難しいことなどを踏まえ、マクロな目的は同じままパブリックな仮想世界に自由に安全にオブジェクトを配置するための映像通信を使った3D物体表現の研究に切り替えた。もともと想定していた個別研究とは変わっているが一定の成果が出ているため、上記のような評価とした。
|
| Strategy for Future Research Activity |
今年度行った研究のパブリッシュを目指して再投稿に取り組みつつ、当初予定していた深層学習による映像データから時空間再現の研究も再開していく。
|
