Publicly Offered Research
Grant-in-Aid for Transformative Research Areas (A)
「視点移動に対応した高精細なテクスチャの操作が現実を超える質感の置き換えを可能にするか？」という学術的な問いに対し，光線場の計測と投影によって光学的に投影対象の素材を置き換える質感操作の実現を試みる．このために，高解像度かつ高精細な光線場投影と周囲環境への投影を併用することで，投影が悟られないような質感操作や，深層学習を用いた自己組織化テクスチャを実装した光線場フィードバックの構築に取り組む．本研究は，光沢感などのような，光学現象によって表出される特性や特質ではなく，それらを発生させる素材の物性を知覚的に置き換える光学的な操作に踏み込むものであり，これによって研究領域の推進に直接貢献する．
研究課題の核心をなす学術的「問い」を「視点移動に対応した高精細なテクスチャの操作が，現実を超える質感の置き換えを可能にするか？」と定め，光線場の計測と投影によって光学的に投影対象の素材の質感を置き換える質感操作について研究している．特に，本研究で試みる質感操作は，光沢感のように光学現象の結果表出した特性や特質（Attribute）ではなく，Attributeを発生させるその奥にある表面構造などの素材の物性（Physicality）の光学的な操作に踏み込むところに特徴がある．2023年度には，A1)投影を悟られない投影方法の模索，A2)視点依存のテクスチャ操作の実現に着手した．A1では，高解像度の投影を行う放射輝度補償を実現し，装置を用いた投影実験を行った．しかし，Physicalityの置き換え手法の確立および評価はまだできておらず，この技術の投影を悟られない投影方法への貢献に関する考察を実施できていない．A2の操作対象の鏡面反射成分を利用した，知覚的なBTF操作に関しては，アルミなどの金属表面を投影対象とし，鏡面反射を利用した多視点からの重畳投影によって，金糸や絹糸などの多様な反射特性を持つ帯地やマットな木目などのBTF提示を実現した．ただし，現状では投影対象の形状を平面に限定している．自己組織化テクスチャ（SOT）を用いた重畳投影の組織化に関しては，この技術の基礎となる，撮影した物体像に沿ってパターンを生成する手法を確立した．ただし，現状では，プロジェクタによる投影とカメラによる撮影を介したフィードバック系でのパターン生成には至っていない．その他特筆すべきこととしては，研究成果を応用したアウトリーチ活動として京都の二条城を舞台としたアートフェア「artKtoyo2023」と，御寺泉涌寺にて実施された展示会「月光礼讃」にて，工芸作家とのコラボレーション展示を実施した．
3: Progress in research has been slightly delayed.
研究計画書に基づきA1およびA2の研究項目に着手しているが，これらの項目が完成に至っていない．具体的には，A1の高解像度の投影を行う放射輝度補償に関して，Physicalityの置き換え手法が現在模索中である．この課題に関しては，効果的な手法の確立が必要である．A2に関しては，鏡面反射を利用した多視点からの重畳投影によるBTF提示では提示対象を平面形状に限定している．また，SOTを用いた重畳投影の組織化では，プロジェクタによる投影とカメラによる撮影を介したフィードバック系への導入ができていないなど，完成までにはまだ検討すべき事項が残されている．研究計画書では2023年度にA1とA2を完成させることは明記してはいなかったものの，2023年度の研究実施計画ではこれらの項目の完成を年度内の目標と設定していた．そのため，やや遅れていると判断する．
2024年度は，昨年度に完成していない，A1とA2の項目に関して引き続き研究を行い，光学的に投影対象の素材の質感を置き換える見かけの操作を実現させる．具体的には，A1の高解像度の投影を行う放射輝度補償に関して，効果的にPhysicalityの置き換えを行う手法を考案する．また，A2については，重畳投影によるBTF提示を曲面物体に適応させる．SOTを用いた重畳投影の組織化については，プロジェクタによる投影とカメラによる撮影を介したフィードバック系に適応させる．さらに，この技術を複数のプロジェクタカメラ系に拡張することで，適応的なBTFの付与を実現する．また，研究計画書に従い以下のように，A1とA2の項目の評価を行う．具体的には，A1の評価では，質感サンプルに白色光照明を行った場合とBTFデータを白色スクリーンへ提示した場合を比較し，提案手法の有効性や限界を調査する．これにより，Physicalityの知覚が光学的などのような特徴や性質に関係しているかも明らかにする．A2については，質感サンプルに視点依存のテクスチャ操作を行い，提案手法によって現実を超える質感の置き換えがどの程度実現されているかを評価する．今年度は，今までの研究成果を学会発表するとともに，昨年度と同様に機会を探して適宜アウトリーチ活動も実施する予定である．
All 2024 2023 Other
All Journal Article (3 results) (of which Peer Reviewed: 3 results, Open Access: 3 results) Presentation (7 results) (of which Int'l Joint Research: 3 results) Remarks (3 results)
日本バーチャルリアリティ学会論文誌
Volume: 29
Transactions of the Virtual Reality Society of Japan
Volume: 28 Issue: 3 Pages: 255-262
10.18974/tvrsj.28.3_255
Volume: 28 Issue: 3 Pages: 271-279
10.18974/tvrsj.28.3_271
https://www.hiroto-rakusho.com/news/2924/
https://kyotoleather.com/2023/11/
https://sites.google.com/view/apmar2023/home
