2020 Fiscal Year Research-status Report
どこから見てもフォトリアルな次世代プロジェクションマッピングシステムの開発
| Project/Area Number |
20K12536
|
|---|
| Research Institution | J. F. Oberlin University |
|---|
Principal Investigator |
杉森 順子 桜美林大学, 芸術文化学群, 教授 (00559891)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
永野 佳孝 愛知工科大学, 工学部, 教授(移行) (40610142)
荒川 俊也 愛知工科大学, 工学部, 教授(移行) (50631248)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | プロジェクションマッピング / フォトリアル / FPGA / 幾何補正 / ブレンディング / メディアデザイン / 映像デザイン / メディアアート |
|---|
| Outline of Annual Research Achievements |
本研究の目的は「どこから見てもフォトリアルな次世代4Kプロジェクションマッピングシステム」を開発することである。FPGAボードと画像処理技術を組み合わることで、投影が困難な自由曲面のある立体物に、正確に形状を合わせたプロジェクションマッピングを高画質で簡便に行うことができる。また、複数台のプロジェクタから投影した映像が重なると生じる照度や色の変化を自動的に計算して補正することで立体物を周囲のどの角度から見ても、実物のようにリアルな質感に見える投影システムを構築することを目指している。
具体的な目的として、研究(1)～(5)に分けて計画を進めている。研究初年度である2020年度は、研究(1)と(3)を中心に開発を行い、(4)では基礎技術に着手した。
研究(1)FPGAボードを用いた4K高画質映像のリアルタイム画像変形技術の確立については、プロジェクションマッピングの基礎的な映像補正技術として、記録したHD画像からFPGAボードで自動的に幾何補正画像に変換するシステムの開発を行った。
研究(3)自由曲面への複数プロジェクタ映像の重なりによる照度や色校正手法の確立では、研究(1)で実装した幾何補正装置に、輝度補正機能を追加した。プロジェクションマッピングの映像品質のさらなる向上には「輝度補正」や「色相補正」が必要である。胸像への投影結果から、ピクセル単位の輝度補正機能が動作していることを確認できた。
研究(4)360度投影手法の確立については、複数台投影の基礎技術を開発した。画像を3つに分配し、位置の異なる3台のプロジェクタごとにFPGAボードで正確に画像幾何補正を行ない、鑑賞には充分な精度で3映像を一致させて投影することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画や内容に沿って、おおむね研究は順調に進んでいる。研究の進め方としては効率を考えて基礎的な技術から着手して開発を行い、ハイビジョン映像 (HD)で FPGAボードを用いた画像変形システムを実装しプロトタイプを作成して評価を行ったうえで、4K映像用に改良して対応させる手順で研究を進めている。
2020年度の研究成果として、International Display Workshops（IDW）で招待講演を行った。日本デザイン学会、日本バーチャルリアリティ学会では、複数プロジェクタで映像を重ねて投影する基礎技術として開発した照度の補正や、映像重畳手法についての学会発表を行った。また、開発した技術の一部用いたゲームコンテンツを制作して公開した。そのため上記評価と考える。
|
| Strategy for Future Research Activity |
本研究では、複数台のプロジェクタ映像を360度継ぎ目なく滑らかに繋ぎ、立体物と映像を完全に一体化させる投影技術が必要である。そのために投影映像をリアルタイムで正確に立体物の形状に合わせて画像変換を行い、また色校正や明るさの補正技術の開発を行う。次年度は研究(1)～(5)から、 (2)(3)(5)を中心に下記の研究を実施する。2020年度に開発したプログラムの改良を行う。
研究(2)立体物の特徴点と画像との半自動マッチング技術の確立では、研究(1)で開発したプログラムの精度を高め、映像変形情報の取得時に、プロジェクタから白色光を投影してカメラで撮影した画像をマッチングに利用する技術を確立する。
研究(3)自由曲面への複数プロジェクタ映像の重なりによる照度や色校正手法の確立では、映像の重なる部分をわからなくするためには、複数台での投影映像を自動ブレンディング機能の開発に着手する。各プロジェクタから異なる色を投影して、投影の重なり部分を検出する。さらに色補正の基礎手法も開発を進める。
研究(5)GUIの作成、プログラムの評価と解析としては、複数台のプロジェクタから出力する映像を統合的に管理するソフトウェア開発し、基本操作のGUIを作成する。
研究を遂行する上で、新型コロナウイルス（COVID-19）の感染拡大により、移動制限や予期せぬ問題が起こることが考えられる。そのため、ウェブなどを活用して研究者間でより積極的に情報交換して議論を深め、研究を進捗させて行く。
|
| Causes of Carryover |
研究計画自体に内容変更はないが、研究(1)～(5)の中から、効率良く進められる順に開発を行った。また研究ではデータを扱い易いHD画質で研究を進めてプロトタイプのシステムを構築して、動作検証やGUIの操作性を評価する。プログラムの修正をしたのちに、4K用FPGAボードに移植をするという順序に変更した。そのため、機材の購入年度が当初計画の時期から次年度後半以降に変更としたため、使用額に差異が生じている。
差額については、研究の進捗に合わせて2021年度後半から研究機材を購入する計画で進めている。
|
