ポスター展示に最適なフォトグラフィックモザイク生成の自動化

2015 Fiscal Year Research-status Report

• Project/Area Number: 15K12121
• Research Institution: Ibaraki University
• Principal Investigator: 梅津 信幸 茨城大学, 工学部, 講師 (30312771)
• Project Period (FY): 2015-04-01 – 2017-03-31
• Keywords: 写真コラージュ / イベント写真 / 輪郭線抽出 / LAB表色系

Outline of Annual Research Achievements

手作業で行うには大変な労力を要するフォトモザイク（多数の写真を用いたコラージュで別のモチーフを表現する手法）を、新規に開発した画像処理アルゴリズムで自動化することを目的として、システムのプロトタイプを開発した。本研究のシステムが実現できれば、これまでは蓄積される一方であまり活用の場がなかったデジタルカメラの写真データを用いて、個人の人生のハイライト（入学・卒業式、成人式、結婚式、受賞、葬儀など）を一枚に効果的に可視化したポスターが手軽に作成できるようになる。
従来の手法で作成されたフォトモザイクは、素材画像中の境界線を重視しないため、作成された結果において境界線が不連続になりやすいという欠点があった。そこで、本研究では画像認識において境界線の方向の記述に広く用いられるHOG特徴量および、形状記述によく用いられるフーリエ記述子によって、素材画像に含まれる境界線の特徴を記述した。さらに、RGBやHSVなどの一般的な表色系ではなく、色差の大小が人間の視覚により近いとされるCIE Lab表色系を用いて画像を表現することで、生成されるモチーフ画像の不自然さを低減した。
さらに、生成されたフォトモザイクを素材画像の大きさと枚数から自動的に数値評価する指標を考案した。これは、数値的な指標があれば、開発したアルゴリズムのさまざまなバリエーションが生成する多数の例の中から、目視によらずに有望な技法やパラメータが検索可能になるためである。これを用いて、多数のフォトモザイク例を生成して、人の目視に頼らずに高速に品質を評価するシステムを開発した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

H27年度の計画に掲げた項目については、おおむね順調に達成できている。
ただし、多数の画像配置について結果の適合度を計算する処理は、予想よりも時間を要し、今後にGPUなどの並列ハードウェアを用いた高速化を行う必要がある。
その代わり、28年度に行う予定であった、評価実験をウェブ経由で行うサーバシステムの構築は前倒しで進み、本研究が予定する数十名によるフォトモザイクの印象評価には十分な性能・機能を有していることが確認できた。

Strategy for Future Research Activity

生成されたフォトモザイクを用いて数十名の被験者による評価実験を行い、その品質に影響する要因を推定するとともにアルゴリズムを改善する。被験者評価実験で提示できる刺激(フォトモザイクの生成例)の数には限りがあり、開発したアルゴリズムで様々なパラメータを変化させてその影響を網羅的に調査することは不可能である。したがって、まず小規模な実験 を通じてフォーカスすべき画像特徴を絞り、後続の実験を最大限に活用できるよう計画を練る。
より多数の被験者からのデータを得るため、生成したフォトモザイクを専用のウェブサイトに表示してその品質を評価させる実験を行う。ウェブ経由での実験では、参加者が不 特定多数のため厳密な条件統一ができず個々の実験データの精度は低下すると予想されるが、多数のユーザ全体 としての平均的性質は問題なく抽出できると考える。
年度末の研究報告書の作成に先立ち、韓国で10月に開催予定のデザイン関連の国際会議（ACDDE）にて、研究成果を発表予定であり、さらにその後に成果をまとめて、関連する学会に論文を投稿予定である。

Causes of Carryover

本年度は、予定に比べて成果発表のための旅費の使用が少なかったこと、および本システムによって生成したフォトモザイクの品質を評価する実験の実施が遅れ謝金を使用しなかったことから、13万円程度を次年度に繰り越すこととなった。

Expenditure Plan for Carryover Budget

次年度は成果発表のための旅費（韓国で開催予定の国際会議）と英文校閲での利用に加え、被験者実験における参加者への謝礼、成果の国内発表および学会への論文投稿に使用する計画である。