Publicly Offered Research
Grant-in-Aid for Transformative Research Areas (A)
ヒトが奥深い質感を認識しようとするとき，被写体を静的に観察するのではなく，被写体を動的に観察するはずである．つまり，質感を認識しやすいように，被写体を観察する視点や被写体を照明する光源を変化させるはずである．本研究課題では，このような視点・光源の工夫（いわゆる観測計画）のうち，質感認識のための光源の設計に取り組む．特に，質感認識のための入力画像を撮影するときの照明方法と入力画像の処理方法の両方を，実際の被写体・撮影系の特性に従ったデータ駆動のアプローチで同時に最適化することで，視覚的質感の認識を機械で実現するときに，どのような照明環境が最適であるのかを明らかにする．
本研究課題を構成するA1からC2の6つの項目のうち，令和5年度は，主に次の3つの項目（A2，B1，C1）に取り組んだ．A2の画像の効率的な獲得では，複数光源下で撮影した画像から単一光源下の画像を復元する符号化照明に取り組んだ．具体的には，符号化照明パタンと復号処理を同時に学習することで，拡散反射の低周波性や量子化ノイズの影響を大きく受けてしまうという，従来の多重化照明や圧縮センシングの問題点を解決する手法を提案した．B1の直接成分と大域成分の分離では，プロジェクタ-カメラシステムを用いた分離に取り組んだ．具体的には，プロジェクタの投影パタン，カメラの露光パタン，および，分離処理の3つを同時に学習することで，焦点ぼけに脆弱で時間分解能が低いという従来手法の問題点を解決した．C1の再照明では，異なる照明条件で撮影された少数の画像から，任意光源方向下の写実的画像を生成する照明シミュレーションに取り組んだ．具体的には，点光源だけでなく面光源も利用するとともに，複数光源の同時点灯も許容して，照明環境と生成処理の両方を同時に学習することで，従来は困難であった少数画像からの鏡面反射成分の生成を実現した．また，B1に関連して，従来は困難であった任意視点における直接・大域成分の分離とその質感編集への応用に取り組んだ．さらに，C1に関連して，任意視点・任意光源色における蛍光物体の画像生成にも取り組んだ．
2: Research has progressed on the whole more than it was originally planned.
令和5年度の計画では，主にA2の画像の効率的な獲得，B1の直接成分と大域成分の分離，C1の再照明に取り組む予定であった．上記の3つの項目全てについて一定の成果をあげていることから，おおむね順調に進展していると言える．
当初の計画に沿って研究を推進する．本年度は主に，A1の素材の識別，B2の鏡面反射成分，拡散反射成分，および，大域成分の分離，C2の表面粗さの推定に取り組むとともに，これまでに研究・開発してきた技術をブラッシュアップする．
All 2024 2023 Other
All Presentation (9 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)
http://www.pluto.ai.kyutech.ac.jp/~okabe/index.html
