2014 Fiscal Year Research-status Report
オートフレーミング－主観的被写体検出と客観的美的尺度に基づく最適構図の自動決定
| Project/Area Number |
26560006
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, 総合研究部, 教授 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
豊浦 正広 山梨大学, 総合研究部, 助教 (80550780)
|
|---|
| Project Period (FY) |
2014-04-01 – 2016-03-31
|
| Keywords | 美的評価 / 注意獲得 / オートフレーミング |
|---|
| Outline of Annual Research Achievements |
本研究では，撮影者の意図を汲みながらも最適な構図をもつ写真が自動で撮れるオートフレーミング手法を開発することを目的としている．初年度に該当する平成26年度の前半ではまず画像構図の美的評価，画像をより構図のよいものへの変更，既存カメラ商品にあるオートフレーミング機能，および視線を利用した個人の注意の推定とその画像・映像処理への応用に関する既存研究を広く調査した．続いて，屋外での撮影実験を繰り返し実施し，ユーザがカメラを構えてからシャッターを切るまでの予備動作を調査・解析した．構図を探索しながら動かしている間の各フレーム画像におけるＯＲＢ画像特徴点を抽出し，トラッキングによってフレーム間の位置合わせを行う方法，そしてフレーム画像を統合してマスター画像を作成する方法を実装した．撮影者がどうしても捉えたい部分はカメラ移動で得られる動画の多くのフレーム内に収まっているものと仮定し， この情報を利用して，マスター画像内の各領域がユーザの主観的被写体である確率を表すHeatMap を生成する方法も実装した. 実装した方法では，各フレームについて，検出した特徴点での画素値を１，それ以外での画素値を０とする特徴画像を作成し，それをガウスカーネルと畳み込むことで，当該フレームのHeatMap を作成してマスター画像と統合する．被験者実験により，HeatＭａｐにより予測された撮影者の関心領域は被験者の実際の関心領域とほぼ一致することを確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目的は，撮影者の意図を汲みながらも最適な構図をもつ写真が自動で撮れるオートフレーミング手法を開発することである．カメラのファインダー画像列を動画解析して撮影者の撮りたい被写体を特定する主観的評価に加え，その位置が構図として美
しいかどうかを客観的な美的尺度に基づいて評価することによって，この問題をオンザフライで解決する最適化アプローチを確立する．
平成26年度は当初予定していた動画解析して撮影者の撮りたい被写体を特定する主観的評価方法を確立することができた．
|
| Strategy for Future Research Activity |
平成27年度は26年度に開発した主観的評価方法と客観的な美的尺度の統合を実現し，最適構図画像の自動生成技術を実装する．さらに実機への移植も行い，多くの実験データを収集する．最後に成果をまとめた論文を国際会議または学術誌に投稿する．
|
| Causes of Carryover |
次年度に成果発表のための国際会議への参加が予定されているためである．
|
| Expenditure Plan for Carryover Budget |
初年度の研究成果をまとめた論文が国内会議に採択され，会議参加のための旅費に利用する予定である．
|
| Remarks |
http://www.vc.media.yamanashi.ac.jp/ja/
|
Research Products
(5 results)
