| Project/Area Number |
23K28110
|
|---|
| Project/Area Number (Other) |
23H03420 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| Project Period (FY) |
2024-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,980,000 (Direct Cost: ¥14,600,000、Indirect Cost: ¥4,380,000)
Fiscal Year 2025: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2023: ¥8,970,000 (Direct Cost: ¥6,900,000、Indirect Cost: ¥2,070,000)
|
|---|
| Keywords | 偏光 / プロジェクタ / 反射特性 / コンピュータビジョン |
|---|
| Outline of Research at the Start |
コンピュータビジョンによる画像を用いた実世界３次元計測においては，これまで光の幾何光学的性質としての光の明るさとその投影経路が画像の輝度と投影モデルとして定式化され，これに立脚したアルゴリズムが開発されてきた．これに対して偏光など光の波動光学的性質の活用方法は確立されていない．本研究では実世界でも運用可能な偏光計測モデルを確立するとともに，これを活用することでより精緻な３次元形状計測や素材認識などの実現を目指す．これにより素材認識を通じた路面状況把握に基づくより安全な車両自動運転や，デジタルツインとして仮想空間で使用されうる，より写実的な人物・物体モデルの制作など幅広い応用が期待される．
|
| Outline of Annual Research Achievements |
本年度は前年度までに開発した偏光反射モデルを用いた３次元形状計測として，特に偏光プロジェクタからパターン光を被写体に照射する計測アルゴリズムの開発と，偏光プロジェクタを用いることで偏光に頼った形状計測や透明物体認識を誤動作させる手法について研究を行った．
まず偏光パターン光を用いた３次元形状計測では，通常のパターン光では光の明暗で二値パターンを表現して物体表面に投射するのに対して，偏光方向（angle of linear polarization）の違いによって二値パターンを符号化した．これにより人の目では知覚できないパターン投影を実現した．またこのとき，物体表面には既知の方向に直線偏光した光が投影され，その反射光の偏光状態を各画素がそれぞれ計測していることになる．したがってこの計測では，符号化パターン光を復号してプロジェクタ・カメラ間の対応点を得ることに加えて，偏光計測から各画素に対応する物体表面の法線方向と反射特性をも実現できた．
次に偏光計測の頑健性についての研究として，偏光プロジェクタを用いて敢えてシーンに人工的な直線偏光照明を追加した際の挙動について調査した．この研究では市販のDLPプロジェクタに簡易な変更を加えることで偏光プロジェクタを実現することができること，その偏光プロジェクタによって，ひとが知覚できないまま偏光情報に依存した３次元物体形状計測や透明なガラスの検出精度に重大な劣化を与えることができることを実証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本課題の研究計画では，偏光反射モデルを構築し，その反射モデルを用いて形状と反射パラメータを同時推定すること，そして様々な素材に対して計測を行ってその有効性を検証することを当該年度の目標として掲げていた．
これらの実施には物体に照射する光の偏光状態を任意に操作することができることが求められる．本研究ではこれを偏光プロジェクタとして実装し，画素単位で任意の偏光方向を与えることを実現できた．具体的には空間光変調器（spatial light modulator）と偏光フィルタを用いる手法，およびDLPプロジェクタを改変する手法の２手法を考案し，その実現性と有効性を実験によって定量的に示すことができている．
また被写体の３次元表面形状と変更反射パラメータを同時に推定することについても，偏光プロジェクタによって任意の直線偏光光源を照射できることを活用して，１画素単位で法線方向と偏光反射パラメータを推定する手法を確立することができた．
このような偏光情報を利用した形状計測・反射パラメータ推定は通常のRGB画像を用いた計測に比べて精緻な計測をもたらすが，これまでその頑健性，特に人工的に改変された偏光照明が与えられることの影響については検討されてこなかった．本研究で開発した偏光プロジェクタによって意図的に偏光状態を操作した光を物体に照射することで，偏光情報に依存した形状計測や透明物体検知の性能が劣化することを実験によって示し，将来の課題について明らかにすることができた．
|
| Strategy for Future Research Activity |
当該年度までの研究では偏光の精緻なモデル化と計測を目的として，環境光を極力排除した暗室といった理想的な環境での実験を通じてその有効性を検証してきた．しかしこれまでの研究によって，環境光などに人工的に偏光が操作された光が存在する場合には，モデルとの観測との間で偏光状態の乖離が大きくなってしまうことが問題となる．今後は光源環境が理想的な実験室環境ではなく，より実環境に近い光源状況における偏光を用いた３次元形状計測や物体検出，さらにはそれを活用した実世界応用へと研究を進める．
具体的には，液晶ディスプレイなどのように直線偏光光源として振る舞うものを活用し，その光に照らされた物体，たとえば人物顔などの計測を行う．また偏光計測によって精緻な形状や法線といったRGB画像だけでは計測し得ない精緻な情報が得られていることを活用し，得られた形状や法線を教師データとして，通常のRGB画像からそれらを直接回帰するニューラルネットワークを構築する．これにより，モデル構築時には偏光を利用しつつ，実応用時には通常RGB映像だけで動作する様々な深層学習モデルを得ることができると期待される．
|
