時間軸を持つ3Dデータ及び映像・音響データを用いたアーカイブシステムの開発

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K00232
• Research Institution: Shizuoka University of Art and Culture
• Principal Investigator: 池田 泰教 静岡文化芸術大学, デザイン学部, 講師 (10747918)
• Co-Investigator(Kenkyū-buntansha): 赤羽 亨 情報科学芸術大学院大学, メディア表現研究科, 教授 (00347379) ; 飛谷 謙介 関西学院大学, 理工学部, 准教授 (50597333)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: デジタルアーカイブ / メディアアート / アートドキュメンテーション / 3Dスキャニング

Outline of Annual Research Achievements

本研究は鑑賞者を含むメディアアート作品（主に展示形態）の新たなアーカイブ手法の開発がテーマとなっており、技術的には、3Dスキャニング技術、映像技術、音響技術を組み合わせた新たなアーカイブシステムの開発が主眼となっている。2020年度は、昨年度末に行った複数台での3Dスキャニングデバイスの同期撮影実験において取得したdepth画像とRGB画像を利用し、画像中の人物の骨格データを自動検出する枠組みを開発した。RGB画像からの骨格検知アルゴリズムはCubemos Skeleton Tracking SDK*1を利用した。当該アルゴリズムは2次元画像中の人物領域における関節の座標値を取得可能である(今回は18点のデータを取得)。本システムではdepthカメラとRGBカメラを世界座標系において同一座標に位置するようキャリブレーションを行い、RGB画像中の各画素のdepth情報を正確に取得できるようにした。これにより、取得したRGB画像中の関節の3次元位置の算出が可能になり、最終的に各関節点を結線することで３次元空間における骨格データを検出可能にした。
この成果は今年度開発予定のデータビューワーおよびシステム全体の精度向上を実現した。

*1 https://www.cubemos.com/skeleton-tracking-sdk
このことは鑑賞者の鑑賞行動を可搬性のある3Dスキャニングデバイスを用いて記録することを実現し、前述のアーカイブシステムの一部として運用が可能になった。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

昨年度に開始を予定していたビューワー開発および2020年度4月の利用実験（展示形態）がCOVID19に関わる社会情勢の影響によって延期となっており、当初計画に対して遅れている。

Strategy for Future Research Activity

現在鑑賞者を含む展示形態での撮影実験という形式を見直し、小規模で安全性の確保が容易な撮影実験を行うよう計画を変更している。また、遠隔での研究者同志のコミュニケーションや開発体制も再考し、研究を進めていく。

Causes of Carryover

covid19の影響により撮影実験およびビューワー開発スケジュールに遅れが出たため、開発環境および必要となる各種ハードウェアの購入を遅らせた。昨年度に行った撮影実験の結果も合わせて購入物品についても再考しており、2021年度前期に必要となる機材類の購入を行う予定である。