2016 Fiscal Year Annual Research Report
A study on innovative material appearance editing by manipulation of BRDF perception on the Nishijin textile using Hikibaku.
Publicly Offered Research
| Project Area | Understanding human recognition of material properties for innovation in SHITSUKAN science and technology |
|---|
| Project/Area Number |
16H01674
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
天野 敏之 和歌山大学, システム工学部, 准教授 (60324472)
|
|---|
| Project Period (FY) |
2016-04-01 – 2018-03-31
|
| Keywords | 双方向反射率分布関数 / 質感操作 / ライトフィールド / 拡張現実感 / 引箔 |
|---|
| Outline of Annual Research Achievements |
質感脳情報学（H25年度~H26年度）の公募研究では，プロジェクタアレイを用いて構造色物体（光学ディスクやモルフォ蝶など）の質感を提示する技術を確立した．
この研究では，拡散反射物体の反射特性に指向性を与えるために，塗装によって物体表面に再帰性反射加工を施していたが，我々の身の回りにはシルクのような織物，金属のヘアライン加工のように，微細構造により反射特性が非単調なBRDF（双方向反射率分布関数）で表される物体もある．特に，美術品や工芸品にはそのような特性を持つ作品が多く，この特性をそのまま利用すれば，原理的には再帰性反射加工を施すことなく見た目のBRDFを変換することが可能である．
そこで，本研究では引箔を施した西陣織の帯地を題材として，知覚される見かけのBRDFを操作するプロジェクションディスプレイ技術の実現を目的とする．そのために，S1. ライトフィールド投影と圧縮センシングを用いた動的なBRDF解析手法．S2. ライトフィールドフィードバックによる見た目のBRDF変換手法の２つを明らかにする．
本研究に関連する成果としては，H28年度には画像センシングシンポジウムSSII2016にてオーガナイズセッションを企画・実施した．また，SIGGRAPH ASIA 2016, IEEE VR2017での発表のほか，学術論文（掲載3件,投稿中1件），招待講演（3件）などの成果も得た．また，特許を１件申請している．
その他の成果には，富士通ソーシャルサイエンスラボラトリ他の協力により，日本橋三越本店に鎮座するまごころ像（1960年, 佐藤玄々作）に対して研究成果を応用した演出を行った．この様子は，日刊工業新聞，日本経済新聞，朝日新聞などの紙面やNIKKEI NET, 産経ニュース, 朝日新聞デジタル, 日本橋経済新聞などの50以上のニュースサイト，MXテレビなどで紹介された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成28年度は，研究目的で示したS1に関して，A1: 引箔・模様箔の構造調査と光学モデルの構築，A2: 短焦点ライトフィールドプロジェクタカメラ系の製作，A3: 圧縮センシングを用いた引箔・模様箔のBRDF 測定方法の確立を実施した．
A1については，引箔の織り構造による反射特性をBRDFとして表現するのではなく，対象に投影されたライトフィールドと撮影されたライトフィールドの関係から，物体表面の反射特性を反射率行列として表現する手法を確立した．また，A3として，この反射率行列を基底の線形結合で表現する近似モデルを構築し，一回のライトフィールド撮影で近似的に反射率行列を求める手法を確立した．
A2については，計画通り4対のプロジェクタとカメラを用いたマルチカメラ・マルチプロジェクタ方式のライトフィールドプロジェクタカメラ系を製作した．またA2では，カメラとプロジェクタの幾何学的な画素の対応関係をピクセルマップで表現し，ピクセルマップの多段階参照を行うことで，プロジェクタの投影画像を任意のカメラの視点へ変換する，あるいは，あるカメラの画像を別のカメラ視点の画像に変換するなどの，自在な画像の視点変換を実現した．
上記のように計画していたA1,A2,A3について順調に成果が得られているため，概ね順調と判断する．
|
| Strategy for Future Research Activity |
平成29年度の研究計画ではB1: 引箔・模様箔の見かけのBRDF 操作方法の検討，B2: 見かけのBRDF 操作方法のライトフィールドプロジェクタカメラ系への実装，B3: 工芸士および研究者との連携による引箔の新しい質感表現技法の模索の3つを行う予定である．
B1では，引箔・模様箔で目標とする配光分布（視方向毎の放射強度の分布）提示を実現するためのプロジェクタカメラユニットの協調方法を検討する．具体的には，A1およびA3の成果を基に実現する予定であるが，まず，平成28年度に実現できなかった物理モデルに基づく反射率行列のモデル化を行い，反射率行列の推定精度の向上を試みる．その後，目標とする配光分布に変化させる見かけのBRDFの操作方法を確立する予定である．
B2では，A3 およびB1 で確立したBRDF計測方法とライトフィールド投影方法を用いてライトフィールドフィードバックを実現し，A2 で作成したシステムへ実装する予定である．具体的な作業としては，マルチプロジェクタとカメラに対応したフィードバック系を実現するソフトウェアの実装を行うとともに，プロジェクタとカメラをさらに4対追加してより自由度の高いライトフィールドフィードバックを実現する予定である．
B3については平成29年度の後半に工芸士との共同研究によって引箔の新しい質感表現技法を模索する予定である．
|
