2020 Fiscal Year Research-status Report
動植物を投影対象とし形状と動きを考慮したプロジェクションマッピングの作成支援研究
| Project/Area Number |
18K11956
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
森本 有紀 九州大学, 芸術工学研究院, 助教 (20553754)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
伊藤 浩史 九州大学, 芸術工学研究院, 准教授 (20512627)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 葉 / 蚕 / 動的プロジェクションマッピング / 生物 / メディアアート |
|---|
| Outline of Annual Research Achievements |
本年度の計画では広範囲のDPM（Dynamic Projection Mappint: 動的プロジェクションマッピング）生成手法を行うこととしており、実際に広範囲のDPMへ改良するために、物体の追跡手法の頑健性を高めるとともに、より効率の良い高速な手法の開発を主に行った。具体的には、葉および蚕を使ったDPMの手法発展を行った。
葉のDPM手法の開発では、追従精度をあげるため、これまで提案した各手法の速度計測や様々な動きへの追従を観測して見直しを行いより頑健な手法へ改良した。問題は二つあり、一つは、用いているオプティカルフローが回転に対して対応していないことであったが、追跡する特徴点を角度120度以下に限定することで対応した。また、ラプラシアンを用いた補正においても回転不変ではなかった。そのため、時刻t-1、tの隣接点の移動ベクトルから、回転を含んだ相似変換を導出、考慮することで対応した。また、オプティカルフローとRigid変形を組み合わせた遮蔽に頑健な手法を提案した。
蚕の方は行動特性を解析し、追跡に考慮する試みなどを行った。蚕は葉より柔軟な動きをするが、毎フレーム蚕のスケルトンを抽出し、その追従を行うことで安定した追跡を行うことができた。
両方の手法を用いたアニメーションエフェクトを作成し、投影実験を行った。他にキノコへの手法適用などを行っている。
葉のDPM手法は国際学会誌に投稿し、採択された。他にも国際学会ポスター、作品コンペに投稿、応募を行った。蚕のDPM手法は国際学会のポスターに投稿を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
計画している内容、3D形状の取得・投影対象の抽出、高速な特徴点の追従、表現の作成、作成支援システムの構築と評価、それぞれにおいて概ね進捗が出ており、都度、論文等として発表を行うことで、対外的な評価が得られている。
|
| Strategy for Future Research Activity |
森のような広がりのある空間での中規模以上の実験を計画するなど、DPMの対象の大規模化実験、作品化に関するエフェクトやUI、ポータブルシステムの開発、そして投影対象の種類を増やす。
大規模化に当たって考えられる問題点の一つは、画像解像度である。現在と同じ解像度のカメラで広範囲の画像を取得した場合、解像度が落ちることとなる。よって、同じアルゴリズムを用いるとしても、大雑把な追従から内部のプロジェクション内容をフィッティングさせるような手法が必要となる。
さらに、大量の物体を追跡するために、手法の高速化も進めていく。投影対象の形状や大きさによって、処理を最適化していき、処理時間を短くしていく。取得した画像情報等とユーザの簡単な入力情報を用いて、投影対象ごとに三次元形状や骨格を推定する。推定した三次元形状や骨格を元に、動きや変形を予測することによって、よりロバストな追跡システムの開発を行っていく。
また、投影対象とする生物の種類を増やし、作品として形にする作業を行う予定である。
|
| Causes of Carryover |
新型コロナウイルスによる外出自粛により、旅費が0になった。また、学会のうち、次年度に延期となったものがあるため、予算をできるだけ次年度に繰り越すこととした。しかし、本年度も海外出張などが難しいと予測されることから、更に次年度に持ち越すか、計算機などの機材に予算を使用する予定である。
|
