2014 Fiscal Year Research-status Report
| Project/Area Number |
25730115
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中島 悠太 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (70633551)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 撮影者の意図 / 重要領域推定 / 点軌跡 / 視覚的注意モデル / 視線解析 |
|---|
| Outline of Annual Research Achievements |
本研究課題は、撮影者の意図に起因する重要領域推定の実現とそのアプリケーションの開発を目標とする。２６年度は下記の課題に取り組んだ。
（１）重要領域推定のための新しいモデルの開発： 映像に対して画素ごとにその重要度を算出するための新しい重要領域モデルを開発した。このモデルでは、Bag-of-Wordに基づく点軌跡の動き特徴量を新たに利用し、点軌跡に対して算出された重要度を周辺の画素に伝播させることで画素ごとの重要度を与える。推定された重量領域と撮影者によって指定された真の重要領域の一致度合いをROC曲線下面積（Area Under Curve; AUC）により評価した。
（２）注視点と撮影者の意図に起因する重要領域の関係の分析： 視聴者の注視点と重要領域の関係を明らかにするために、視点解析装置により得られた10本の映像に対するそれぞれ20名の注視点と、撮影者によって指定された映像中の真の重要領域の一致度合いを、課題（１）と同様にAUCにより評価した。
（３）重要領域推定の映像要約への応用の検討： 本研究課題で開発した撮影者の意図に起因する重要領域推定を利用する新しい映像要約手法の基礎的検討を開始した。この手法はブログやSNSなどに投稿するための要約映像の生成を目的とし、ユーザがブログやSNSなどのために記述したテキストと映像に付与されたアノテーションに基づいて映像を要約する。このとき、映像中のオブジェクトの重要度の決定に、本研究課題で開発した重要領域推定の利用を考える。
（４）重要領域推定のプライバシー保護への応用： 重要領域推定手法を応用したプライバシー保護処理システムの派生的研究として、人物に特化した重要領域推定手法を利用し、撮影者の意図に応じてプライバシー保護対象を決定するシステムにおいて、プライバシー保護対象の表情を維持しつつ個人の特定を困難にする手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題（１）の結果、AUC（0から1までの値をとり、1が最も良い）の中央値は0.38程度となった。この評価において、映像フレーム中に真の重要領域が存在しない場合にAUCを0とした。AUCとしては高くないことから、今後の精度向上が望まれる。また、課題（２）において、注視点と真の重要領域の一致度合いは課題（１）と同じAUCによる評価で0.2程度であった。この結果から、映像視聴者の注視点と真の重要領域の相関は必ずしも高くないと言える。一方で、注視点を収集した被験者数が20名と少ないため、被験者数を増加させるなどの上での追加実験が望まれる。課題（３）では、現在までに手作業によってアノテーションを付与した映像から与えられたテキストに沿った要約映像を生成する手法を確立し、被験者実験によって要約映像がテキストをよく表すとの結果が得られている。課題（４）についても、撮影者にとって重要な人物以外の人物（非重要人物）の顔領域に対して開発したプライバシー保護処理手法を適用することにより、表情を維持しつつプライバシーが保護可能であることを実験的に明らかにした。
本研究課題において、26年度は（A）重要推定領域のためのモデルの検討・実装と（B）重要領域推定の精度の実験的検証を予定しており、上記の課題（１）、及び（２）により26年度に予定していた研究は遂行できたと考える。一方で、25年度に予定していた映像視聴者の注視点と真の重要領域の関係の検証については現時点で不十分である。重要領域推定の応用に関する研究は27年度に予定しており、これについては予定を繰り上げて実施することができた。以上より、実施予定に比べて多少の前後はあるものの、概ね順調に進展しているものと考える。
|
| Strategy for Future Research Activity |
次年度は以下の課題に取り組む。
・重要領域推定精度の向上： 本年度の課題（１）により、現在のモデルによる重要領域推定の精度は現時点で高くない。これは、重要領域推定のための特徴量に関する知見が十分に得られておらず、適した特徴量を利用できていないためであると考える。そこで、深層学習により重要領域推定に適した特徴量を学習するなどにより、推定精度の向上を目指す。
・注視点と真の重要領域に関する追加実験： 本年度の課題（２）では、注視点と真の重要領域に関して十分な知見が得られなかった。この原因として、被験者数が十分ではなかったことなどが挙げられる。そこで、被験者数を増加させる、もしくは評価方法を見直すなどした上での追加実験などにより、注視点と真の重要領域の関係を明確化する。
・重要領域推定の応用： 本年度に引き続き、重要領域推定の応用に関する研究を推進し、重要領域推定の有用性を確認する。
|
| Causes of Carryover |
国際会議、国内会議参加のための旅費の変動のため。
|
| Expenditure Plan for Carryover Budget |
国際会議参加費などに充当予定。
|
