2016 Fiscal Year Research-status Report
リーディングラインを考慮した時変顕著性マップの構築
| Project/Area Number |
16K12459
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
茅 暁陽 山梨大学, 総合研究部, 教授 (20283195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤代 一成 慶應義塾大学, 理工学部(矢上), 教授 (00181347)
豊浦 正広 山梨大学, 総合研究部, 准教授 (80550780)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 顕著性マップ |
|---|
| Outline of Annual Research Achievements |
顕著性マップ（saliency map）とは，視覚の初期段階（200 ミリ秒以下）において画像領域に対する「人の注意」の度合いを表したものである．従来の顕著性マップは，基本的に色やテクスチャ等の視覚特徴の中心周辺差分に基づくものであるに対して、本研究では同一の点に収束する線群（リーディングライン）等の大局的構造をもつ特徴にも人間の目が無意識的に誘導されることに着目し、従来の低レベル属性の中心周辺差分による効果にリーディングラインによる効果を統合し，リーディングラインを含む画像に対する視覚注意をより正確に予測可能な新しい顕著性マップを提案する。
視線追跡実験では、画像内において中心周辺差分とリーディングラインの収束点の両方が存在し、しかも二つの特徴の空間的位置が近い場合は視線を強く引き付ける、また特徴が中央にある場合も視線を強く引き付ける傾向があることを確認した。平成28年度は、実験結果を分析し、中心周辺差分とリーディングラインの二つの相乗効果及びセンターバイアンスを考慮した新しい顕著性モデルを提案・実装した。MIT Saliency Benchmarkが提唱する５つの評価指標と視線追跡実験で得られた視線データを用いてモデルの有効性を検証したところ、すべての指標において、従来の中心周辺差分に基づくモデルより提案モデルの性能が有意に優れていることが分かった。また、リーディングラインによる効果を表す顕著性マップの生成についても、３つの異なる計算方法を実験により検証した。これらの成果をまとめた論文がVisual Computing / グラフィクスとCAD 合同シンポジウム 2017に採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究申請の直接の契機となった先行研究では、リーディングラインを含む画像に対
する人間の視覚注意の特徴を実験的に調査し，視線の挙動をより正確に推定することを目指して、Itti らの中心周辺差分に基づく顕著性マップとリーディングラインによる顕著性マップの線形和としての顕著性マップを提案した。しかし，リーディングラインのような大局的特徴には，低レベル属性の中心周辺差分による誘目性とも相乗効果を有する可能性が，関連する別の先行実験から指摘されている。研究計画の初年度ではこの相乗効果を考慮した新しい顕著性マップの対案を予定していた。また、先行研究では既存の消失点推定方法を用いて求めた消失点にガウシアンカーネルをおくことでリーディングラインによる顕著性マップを求めたが、その有効性が確認できていない。リーディングラインにより顕著性マップの計算方法の検証も初年度計画に含まれていた．平成28年度は、当初計画通り、リーディングラインによる顕著性マップ自身の改善と、リーディングラインと中心周辺差分の相乗効果を考慮拡張顕著性マップモデルの構築を実施した。さらに、視線が画像中心により引き付けやすいという観測結果も考慮し、センターバイアンスも考慮した拡張モデルも提案・実装した。MIT Saliency Benchmarkが提唱する５つの評価指標と視線追跡実験で得られた視線データを用いて提案モデルの有効性を確かめることができた。
|
| Strategy for Future Research Activity |
まず、初年度のモデルを洗練化するための実験評価を継続的に実施する．可能な限り広く学習データと評価データを集め，さまざまな画像に対応できるようにする．適切な機械学習アルゴリズムの選択・適応化もモデルの洗練化に大きく貢献する．連携研究者の行場から基礎視覚心理学側からの評価を得て，モデルの妥当性を維持するとともに，心理学分野への還元可能性も積極的に検討する。成果をまとめて当該分野のトップクラスの論文誌へ投稿する。
リーディングライン効果は同一の点に収束する直線のときに得られるだけでなく，何等かの視覚要素が線状に配置したことにより形成されることもある．その場合，リーディングライン上にある画素でのテクスチャ方向は必ずしもその画素と消失点と結ぶ直線と一致しない。平成29年度は，多重解像度において局所的収束点を検出し，統合する方法を試験的に実施し，視線追跡実験による実地評価を通じて改善していくことでより広義なリーディングラインによる顕著性マップのモデルを提案する予定である．なお，期待する効果が十分得られない場合は，情報収集活動から得たヒントをベースに別法を立案する．
|
| Causes of Carryover |
平成28年度に構築したモデルをさらに拡張するために平成29年度により多くの視線追跡実験を実施する必要があり、そのための費用を次年度に繰り越した。
|
| Expenditure Plan for Carryover Budget |
各種視線追跡実験を実施するにあたり、実験を補助する大学院生及び被験者に対して謝金を支払う予定である。
|
-
-
-
[Presentation] Eye Tracking by Head Motion History2017
Author(s)
Masahiro Toyoura, Takumi Tanaka, Atsushi Sugiura, Xiaoyang Mao
Organizer
International Workshop on Image Electronics and Visual Computing
Place of Presentation
Danang, Vietnam
Year and Date
2017-03-01 – 2017-03-03
Int'l Joint Research
-
-
