2016 Fiscal Year Annual Research Report
Surface and Subsurface Scattering Property Estimation and Simplification for Material Editing on Real-world Photographs
| Project/Area Number |
16J02280
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
谷田川 達也 早稲田大学, 理工学術院, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2016-04-22 – 2019-03-31
|
| Keywords | コンピュータ・グラフィックス / 半透明媒質 / 拡散パラメータ推定 / 実時間レンダリング |
|---|
| Outline of Annual Research Achievements |
本年は研究の立ち上げ年度ということで、新たに三種類のテーマについて研究を実施した。一つ目には、本研究課題の核となる少数の入力画像からの半透明媒質の拡散パラメータ推定に取り組んだ。当初、この研究は単一の入力画像からの推定を目的としており、物体の形状や入射させる光に制約を与えながら推定を試みていた。この方法でも、入力画像一枚から想定しうる視覚的な特徴は十分に再現できるが、描画対象の形状や光源環境が変化する場合にも耐えうる精度の推定は困難なことが分かってきた。そこで、多くとも十数枚程度の入力画像から、実用に耐えうる精度で拡散パラメータを推定することを念頭に実験を継続している。
二つ目には、人間の頭髪を対象として、上記の研究同様に拡散パラメータを推定する研究に着手した。通常、頭髪を対象とした拡散パラメータ推定には、糸巻きのように形状が既知の対象に髪の毛を巻き付けて撮影をする等の工夫が必要だが、この方法では撮影される人物の髪型が制約を受ける。本研究は、その課題を解決するために、主に頭髪形状推定に用いられる多視点ステレオの技術を応用した拡散パラメータの推定を目指している。本年の研究では、頭髪の形状を大まかに推定している段階だが、今後は形状の推定精度を高めて、実際の拡散パラメータの推定に研究を移行していきたい。
三つ目には、推定された拡散パラメータをCG映像上で対話的に編集するシステムについて研究を実施した。本研究では、実時間レンダリングの技術を応用して、対話的な編集システムの開発をした。ところが、現在の実時間レンダリング技術は、異なる半透明媒質が複雑に混ざり合ったような対象には適用が難しく、それが原因でユーザの編集意図を結果に上手く反映できないことが分かった。今後は、現在用いている実時間レンダリング手法自体を改良するとともに、ユーザの編集意図を入力する方法も検討、改善を行っていきたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度の研究は、研究の初年度であり、論文という形での成果を得るには至らなかったが、今後の研究につながる有用な知見をいくつか得ることができた。これ以前の研究課題では、実世界に存在する半透明物体や人間の頭髪のような実物体を扱ってこなかったため、これらの撮影方法に関する周辺的な知識が経験的にも多く得られたことは大きい。
個々の研究課題についていえば、写真からの拡散パラメータ推定の研究は、うまく実用的な方面に研究の方向性を修正できている。実際の映像制作現場レベルでは撮影環境制約のそれほど多くない画像を複数枚入力とすることは、それほど問題ではなく、この方向性で一度研究を完成させる見込みである。一方で、当初の目的であった、インターネット等から取得できる物体の拡散パラメータを映像生成に使うという目的は難しくなるため、複数枚入力で高精度な結果が出せた段階で、枚数をいかにして減らすかを検討していきたい。
頭髪の拡散パラメータ推定に関する研究は、現状、形状復元の既存研究を比較している段階である。拡散パラメータの推定には正しい形状を得ることが重要であるが、当該研究分野の最新知見を使っても、完璧な形状を求めることは難しいため、最終的に得たい推定の精度とのトレードオフを考えつつ、形状復元の精度についても検討していきたい。
半透明媒質のパラメータをCG映像上で対話的に編集する研究については、既存の不透明物体に対する編集技術と、半透明媒質の実時間レンダリング手法を組み合わせたプロトタイプを作成した段階である。現在は実時間レンダリング手法があまり細かな媒質の混ざり合いを表現できないという問題に突き当っており、解決方策を検討している段階である。この部分については、編集という本研究の目的にとどまらず重要な研究課題であるので、関連する研究を再度網羅的に調査して、どのような改善が見込めるのかを検討していきたい。
|
| Strategy for Future Research Activity |
少数画像から一般物質の拡散パラメータを推定する研究については、入力する画像枚数を減らしたり、物体の形状や光源環境に関する制約を緩和したりする方向性で研究を進めたいと考えている。現在、検討している推定法では概ね4枚程度の入力があれば、それなりの精度の拡散パラメータが得られている。これを2枚にしたり、1枚にしたりすることは技術的には可能であるが、その場合には推定精度が著しく低下することが確認されている。とはいえ、入力画像が少なくなれば得られる情報が少なくなるため、これを避けるためには、別途容易に取得できる情報を付加する必要が生じると考えている。特殊な光源や、光源パターンを使用する方法、ライトフィールドカメラ等の特殊なカメラを使用する方法などが、その候補として考えられるが、この部分に関しては、今後検討を進めていきたい。
頭髪の拡散パラメータ推定法については、形状の復元にある程度、めどがつき次第、推定モデルの検討に入っていく予定である。現状は、上記の一般物体に対する拡散パラメータ推定法で得られた手法を、頭髪にも応用していく方針を考えている。拡散パラメータの編集に関しては、上記の通り、実時間レンダリングの手法を改善する方針で研究を進めていきたい。
また今後は、上記の三つの研究課題を遂行していくだけでなく、近年注目を集めているデータに基づいた材質感の推定法、編集法についても研究を進めるつもりである。現在、提案されているデータに基づいた手法の多くは実際の材質の見た目が物理的にどう決定されるかということを、正しく考慮していない場合が多い。そのため、物理的な仮定を機械学習により再現する必要が生じてしまい、多くの学習データと多くの学習時間が必要となることが予想できる。そこで、今後はこれらの研究に物理的な知見を導入して、より少ないデータと学習時間から推定や編集を可能とする方法を検討していきたい。
|
Research Products
(1 results)
