2021 Fiscal Year Research-status Report

どこから見てもフォトリアルな次世代プロジェクションマッピングシステムの開発

Research Project

Project/Area Number	20K12536
Research Institution	J. F. Oberlin University
Principal Investigator	杉森順子桜美林大学, 芸術文化学群, 教授 (00559891)
Co-Investigator(Kenkyū-buntansha)	永野佳孝愛知工科大学, 工学部, 教授(移行) (40610142) 荒川俊也日本工業大学, 先進工学部, 教授 (50631248)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	プロジェクションマッピング / フォトリアル / FPGA / 幾何補正 / ブレンディング / メディアデザイン / 映像デザイン / メディアアート
Outline of Annual Research Achievements	本研究の目的は、自由曲面のある立体物へ簡便に、どこから見てもフォトリアルに見えるプロジェクションマッピングシステムを4K画質で開発することである。また、複数プロジェクタの映像が重なることで生じる照度や色の変化をFPGAボードと画像処理技術を組み合わせることで、自動的に計算して補正する。それにより、立体物をどの角度から見ても、実物のようにリアルな質感に見える投影システムを構築することを目指している。研究では (1)～(5)の具体的な目的に分けて計画を進めてきた。研究2年目となる本年度は、(5) GUIの作成、プログラムの評価を中心に開発を行った。また、昨年度に続き (4) 360度投影手法の基礎技術の開発を行った。研究(5)では、映像制作者が簡単に使えるようにアプリケーションの開発や改善を重点的に進めた。昨年度に基盤となるアプリケーションを開発しているが、幾何補正計測やFPGAへのデータ転送などが、別々のソフトウェアで実行されていたため操作性に問題があった。より使い易いシステムにするため、本年度はこれらのソフトを統合し、GUIを改善することで操作性を高めた。それにより、制作者は画面上でより視覚的に操作し易くすることができた。また、FPGAボードの性能をより効率的に活用するためフレームレートの回路設計を行い、フレームレートを約1.5倍に向上することができた。これらの研究成果は、日本デザイン学会や日本バーチャルリアリティ学会、計測自動制御学会で、ユーザーが使いやすいGUIへの改善やFPGAボードの高速化についての学会発表を行っている。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 当初の研究計画や内容に沿って研究を進めているが、COVID-19感染拡大の影響と研究代表者の所属機関の事情から研究環境が十分に整わず、やや計画に遅れが生じている。本研究では、FPGAボードやプロジェクタなどの機器が同型で複数台必要となるが、世界的な半導体不足からこれらに機器を同時に調達することが困難となった。そのため研究効率を考えて、まずはGUIなどソフトウェアの開発や改善を前倒しに行い、機器が不可欠な部分を研究期間の後半に移行して実施してきた。徐々に社会情勢に変化がみられるため、今後は進捗状況が改善すると考えている。
Strategy for Future Research Activity	本研究では、立体物と投影映像を完全に一体化させる投影技術の開発が必要である。複数台のプロジェクタ映像を360度継ぎ目なく滑らかに繋ぐためには、立体物と投影映像をリアルタイムで正確に立体物の形状に合わせて画像変換を行えること、また映像の色校正や明るさの補正技術の開発が必要である。次年度は研究(1)～(5)から、(2) (3) (4)を中心に下記の研究を実施する。またこれまでに開発したプログラムの改良を行い4K高画質への向上を図る。研究(2)立体物の特徴点と画像との半自動マッチング技術の確立では、研究(1)で開発したプログラムの精度を高めることで、映像変形情報の取得時に、カメラで撮影した画像をマッチングに利用する技術を確立する。研究(3)映像の重なりによる照度や色校正手法の確立では、これまでに開発したシステムの改善を行うことでより精度を高め、研究(4)360度投影手法の確立を行う。また複数台のプロジェクタから出力する映像を統合的に管理するソフトウェアを開発し、基本操作のGUIを作成する。またHD画質で開発してきたシステムを4K画質へと移植する。さらに、これらの評価を行い、より映像制作者が使い易いシステムを構築する。なおCOVID-19による影響や制限は徐々に改善するものと考えてはいるが、今後も研究者間でウェブ会議などを十分に活用しながら、積極的に情報交換して議論を深め、今後の研究を進めて行く。
Causes of Carryover	本研究では同じ型番の機器が同時に複数台必要であるが、COVID-19の感染拡大の影響により世界的に半導体不足し、機器の調達が困難となった。効率的に研究を進めるため、本年度は研究(1)～(5)の中から機器に依存しないソフトウェアやGUIを中心に開発を行った。研究の手順ではまずHD画質で研究を進め、プロトタイプのシステムを構築して、動作検証やGUIの操作性評価を行う。そのプログラムの修正を行ったのちに、複数台の機器を購入して4K用FPGAボードに移植をするという順序に変更して現在進めている。当初の計画自体に変更は無ないが、手順を入れ替えたことで機材の購入年度が当初計画の時期から、来年度に変更となったため使用額に差異が生じている。