2018 Fiscal Year Annual Research Report
Reconstruction of Shape and Material of Objects based on Photometric Analysis using Images
| Project/Area Number |
17J05602
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
高谷 剛志 奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2017-04-26 – 2020-03-31
|
| Keywords | 質感再現 / 物体内部計測 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，画像による光学解析手法によって計測された材質特性を3Dプリンタなどのデジタルファブリケーションを用いて物理的に再現することである．当該年度の目標は，計測および出力の両方で用いることができる表現モデルの構築であった．計画では，二つのアプローチを検討し，コンピュータグラフィクスや応用光学において利用される物理に基づくモデルを改良するか，大量データから機械学習によって計測と出力との関係性をモデル化することを考えていた．現在までに，前者の物理に基づく表現モデルを構築した．
表現モデルは計測と出力の両方に依存するため，計測から出力までを含めたシステムを検討した．材質特性の一つである半透明度を再現するため，UVプリンタを用いることで半透明度を操作する手法を提案した．UVプリンタとは，様々な材質に印刷可能なインクジェットプリンタである．一般には，初めに白色インク層を印刷することで印刷対象となる基盤材質の質感を除去した上で，表面的な色を表現する．一方で，当該提案では，基盤材質とインク層との相互作用を活用することで印刷物の最終的な半透明を操作する．当該提案は，コンピュータビジョンに関する国内最大規模の会議であるMIRUにおいて，最も萌芽的かつ挑戦的な研究に贈られるフロンティア賞を受賞し，高い評価を得た．
半透明度は物体内部構造に依存するため，物体内部を計測することは非常に重要である．そこで，プロジェクタとカメラを用いた物体内部計測手法を提案した．プロジェクタから正弦波パターンを投影すると，投影距離に応じてパターンが広がるため，正弦波の周波数が変化する．この性質を用いて，周波数解析によって物体の内部を計測する．当該提案の応用は広く，医療分野や食品分野を検討しており，国内特許を出願した．現在のところ，散乱体の計測は困難であるが，今後，奥行ごとの半透明度を計測できるように発展させる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度は，表現モデルの構築を目標としていたが，半透明度に関するモデルを構築した点で期待通りに研究が進展していると評価する．研究計画通り，当該モデルを用いて，半透明度の計測およびデジタルファブリケーション機器による再現を行った．当該年度は，2次元インクジェットプリンタの一種であるUVプリンタを用いることで実物体の半透明度を操作する手法を提案し，画像の認識・理解シンポジウム（MIRU）にて発表を行った．結果，最も萌芽的かつ挑戦的な研究に贈られるフロンティア賞を受賞し，高い評価を得た．また，半透明度は物体の内部構造に起因するため，物体内部を計測する手法を新たに提案し，ACM SIGGRAPH Asiaにてショートオーラル発表を行った．産業応用に向け，当該物体内部計測手法については国内特許を出願済みである．さらに，遠赤外光を用いることで透明・半透明・黒体材質に対しても利用可能な形状計測手法を提案し，トップ会議であるCVPR（IEEE Conference on Computer Vision and Pattern Recognition）に採択された．
|
| Strategy for Future Research Activity |
材質特性の一つとして，半透明度を対象とした計測および出力の系は目途が立ったが，その他の特性，例えば光沢度などについてはまだ検討を始めたばかりである．他の材質特性も含めた統合的な計測および出力について，今後研究を進めていく．また，今後，機械学習によるモデル構築を考察するためには，大量のデータをどのように準備するかが問題となる．実際に作製することは非効率的であるため，物理に基づくモデルからシミュレーション合成する流れを今後の課題としている．
|
