2014 Fiscal Year Research-status Report
博物館展示のための拡張現実感の学習への心理学的影響と臨場性付与
| Project/Area Number |
25560089
|
|---|
| Research Institution | Doshisha University |
|---|
Principal Investigator |
杉本 裕二 同志社大学, 文化情報学部, 教授 (90311167)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
浅井 紀久夫 放送大学, 教養学部, 准教授 (90290874)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 拡張現実感 / インタフェース / 臨場感 / 文化財 / アーカイブ |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、博物館などアミューズメントを演出する学習場面で、学習コンテンツを効果的に提示するために、拡張現実感を利用した提示手法を構築することである。
当該年度は、現実空間と仮想物体の幾何学的整合性を実現するため、カメラ映像を用いたビジュアルトラッキングにおいて、自然特徴点群を抽出する方法と三次元位置計測による方法を組み合わせて、カメラの位置姿勢推定を行った。距離測定装置を使い、視点からの奥行き距離を取得した。形状推定機能を使って、カメラの位置姿勢を推定する機能を構築した。この位置姿勢は、姿勢行列の形でフレームレートにて算出される。姿勢検出が不能になることがあり、このときは姿勢行列が算出されない。そこで、姿勢行列と共に距離画像及びカラー画像を蓄積し、これらの過去のデータとの類似度を計算することにより、位置姿勢を補完した。
CGを現実シーンに重畳提示するには、物体座標系の設定が必要である。しかし、全く事前知識がない状態で、スケールを決めるのは困難である。そこで、予め画像パターンを登録し、スケールを推定した。自然特徴点抽出を行い、画像パターンの位置姿勢推定を、三次元構造復元から得られる位置姿勢の修正に用いた。
建造物などの文化財は物理的に博物館展示に適さないものの、その文化的重要性は高い。文化財アーカイブが大きな役割を担っている。本研究では、京都府大山崎町所在の宝積寺に現存する九重石塔を対象として、三次元写真計測と構造モデルの構築を行い、三次元構造を解析・評価した。九重石塔の三次元構造モデルは、多数の写真撮影で得られた複数視点画像から作成された。各層の形状を比較し、形状の摩耗・劣化の具合から、2グループに分けられると推測した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
拡張現実感において、臨場感を保持するための幾何学的整合性の基本要素は実現できたと考えている。これにより、現実シーンに仮想物体を安定的に重畳提示できるようになる。ただ、科学館展示に供するための学習コンテンツの提示に使うためには、位置姿勢推定の処理を高速に行う必要がある。画像パターンの自然特徴点抽出の処理は計算負荷が高いため、効率的な処理は課題の一つである。また、光学的不整合の問題が残されているため、今後、これらの問題に取り組んでいく予定である。
博物館展示に供するための学習コンテンツの素材を構築するための手法の一つは、整備されたと考えている。文化財アーカイブにおいては、継続的モニタリングのための三次元写真計測と構造モデルの構築が順調に実施されている。これにより、文化財三次元建造物に生じた変動の計量的な評価が行えるようになった。複数の写真から三次元構造モデルを復元する手法は手軽に実施できるが、リアルタイム性に乏しい。適応的に三次元構造の評価を行うには、その場で結果を確認できる仕組みを構築する必要があり、今後の取り組みとする。
上記のように研究が進んでおり、おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
今年度構築した、カメラ映像を用いたビジュアルトラッキングにおいては、さらに幾何学的整合性の安定性を高めるため、カメラの位置姿勢推定の精度を向上させる。展示物に展示と関係の無いマーカを付与することは、学習の妨げとなる可能性もあるため、マーカレスでカメラの位置姿勢を推定する仕組みを検討してきた。しかし、来館者にとっては、そこに情報が埋め込まれていることがわからない、あるいは、気付きにくいという面もある。それに、特徴点追跡によるカメラ位置姿勢の推定は、画像パターンがカメラと正対する角度付近で姿勢精度が低下する傾向にある。これは、自然特徴点の見えの変化が小さいためである。そこで、景観を壊さず、カメラの位置姿勢推定の精度を改善するための仕組みを構築する。元々展示環境に付いている展示番号や見栄えのするマーカを利用することにより、これらの問題を克服する。姿勢推定の精度向上については、別途姿勢センサを使用することも検討する。
また、科学館の実際の展示を意識したコンテンツを設計し、構築していく予定であり、コンテンツに組み込むための素材を収集する。拡張現実感環境で高い臨場感を保持するには、光学的整合性が欠かせない。光学的整合性を考慮したコンテンツの提示を検討するため、照明環境を取得し、現実シーンに仮想物体を描画する際の照明モデルとして組み込む予定である。時間的整合性を保持するため、効率的な処理を検討すると共に、照明モデルの単純化を進める。
|
| Causes of Carryover |
本年度構築していたビジュアルトラッキングシステムの機能において、カメラの位置姿勢推定で、全く事前知識のない状態からスケールを決めるのは困難である。そこで、当初、物理的なマーカを用意し、そのマーカと仮想物体との位置関係を予め記録しておき、その後、実際の利用ではそのマーカを外しても、現実シーンに仮想物体が正確に重畳されるように設計していた。しかし、この方式は精度が悪いことがわかり、見直しを迫られた。そこで、予め画像パターンを登録し、その画像パターンを併用することによりスケールを推定することとした。展示物やその周辺のパターンを利用すれば、マーカとは気付かれずに、マーカと同じ役割を持たせることができる。こうした検討に時間がかかり、当初予定していた学習コンテンツの設計及び構築が遅れ、年度内の予算執行に至らなかった。
|
| Expenditure Plan for Carryover Budget |
次年度は、システムの安定性を高め、学習コンテンツとしての機能を充実させる。システムの安定性を改善するため、カメラの位置姿勢推定の精度を高める仕組みを組み込む予定である。そのために、姿勢を検出するセンサデバイスや奥行きを精度良く測定する装置を導入する計画である。この仕組みをコンテンツに実装するための開発費が必要である。システムや機能、評価について、当該研究分野の学会等で発表する予定であり、そのための旅費が必要である。
|
