2011 Fiscal Year Annual Research Report
画像のボケと両眼視差を同時に再現する注視反応ディスプレイ
Publicly Offered Research
| Project Area | Integrative studies of neural mechanisms and advanced information technologies for perception of material and surface qualities |
|---|
| Project/Area Number |
23135501
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
岡谷 貴之 東北大学, 大学院・情報科学研究科, 准教授 (00312637)
|
|---|
| Keywords | 立体ディスプレイ / 被写界深度 / ボケ / 注視計測 / 眼球運動 / 臨場感 / 奥行き知覚 |
|---|
| Research Abstract |
両眼視差とDOFボケを同時に提示可能な,いわゆる注視反応ディスプレイを研究している.これは,視差を再現する眼鏡方式の3次元ディスプレイ上を使い,それを見るビューアのディスプレイ面上の注視位置を連続的に計測し,その結果に基づいて表示映像をリアルタイムに変化させることで,視差を提示しつつ眼に生じるDOFボケを疑似的に再現するシステムである.このシステムを使って,透明物体や鏡面反射物体など,複雑な光の反射現象を伴う物体の映像を忠実に提示することを考えた.これらの物体を人が見るとき,眼は物体表面に焦点を合わせるだけでなく,物体表面に写り込むシーンの反射像や,シーンの透過像にも焦点を合わせることができる.このような能動的な焦点調節を可能にするため,ビューアの単眼の注視情報のみを利用していた従来システムを拡張した.具体的には,カメラ2台を用いて両眼の注視計測を行い,両眼の輻輳を求めて注視奥行きを計算する方法と,その結果に基づく映像の合成・表示方法である.このシステムを評価するため,現実のDOFボケを伴う実像と,提案システムによってDOFボケを再現した偽の像とを見分けるタスクを,被験者に行わせる実験を行った.このため,提案システムを構成するディスプレイの光路上に,別な2次元ディスプレイの表示像が写り込むハーフミラーを配置し,2つのディスプレイの表示像が重なるようにした装置を構築した.提案システムによってDOFボケを再現した場合とそうでない場合とで,現実の像との判別率が有意に変化し,提案システムの有効性を示す結果を得た.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定通り進んでいる.
|
| Strategy for Future Research Activity |
次の手順で研究を実施する.
(1)画像データベースの作成
物体表面の質感を構成する属性として,光沢感,なめらかさ,透明感など10個程度を選び,2枚の画像ペアについて,その属性の大小関係を与える学習サンプルセットを生成する.具体的には,協力者を募り,数百～数千の画像ペアおよび上記質感属性それぞれについて,大小関係を入力してもらう.この方法で,1万枚規模の総数の画像に対し,そのペア間に質感属性の大小関係を一種のラベル情報として有するデータセットを構築する.
(2)質感属性推定アルゴリズムの開発
上記方法で作成したデータベースを使って,画像から質感属性値を計算するアルゴリズムを作成する.特にどのような画像特徴を取り出すかが鍵であり,スパースコーディングなどの教師なし学習のアプローチを検討している.また,取り出した画像特徴をどのようにコード化し,さらにプーリングを行って画像1枚全体の特徴とするかも課題である.それぞれ,いくつか考えられる方法を適用し,性能評価実験を繰り返して,最適なやり方を発見する.
(3)画像のボケとの関係の評価実験
昨年度開発した映像表示装置を用いて,視覚心理実験を行い,上記アルゴリズムを被写界深度ボケを含む画像に適用したときの反応を,人間の被験者との間で比較する.実験結果を評価することで,人の質感認識においてボケを中心とする低レベル画像特徴がどのような役割を果たすかを明らかにする.
最後に,実験結果をまとめ,研究を総括する.
|
