| 研究課題/領域番号 |
22K12098
|
|---|
| 研究機関 | 工学院大学 |
|---|
研究代表者 |
木全 英明 工学院大学, 情報学部(情報工学部), 教授 (80913582)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 点群 / ポイントクラウド / 符号化 / 深層学習 / 主観品質 |
|---|
| 研究実績の概要 |
本研究の目的は，点群に重要度の概念を取り入れて圧縮に利用することで，主観的に重要な点群の再現性を保ちつつ点群全体の圧縮効率を向上する方式を研究することである．
今年度は，視覚的に劣化が目立たない度合に基づいて点群に重要度を設定し，その重要度に応じて，点群を符号化した時に生じる形状劣化を抑制して，符号量を削減する手法を研究した．令和４年度での知見を活かし，ブロック単位で深層ニューラルネットワークによるオートエンコーダを用いて，学習モデルを適応的に制御して符号化する手法を検討した．一般的に，画像の圧縮符号化において，ブロック内の画像信号の複雑度合をもとに，変換係数の量子化度合を調整する制御が行われる．これは複雑な絵柄があるブロックにおいては，高周波成分の再現性が低くても，視覚的な劣化が目立たないという経験則に基づく．この考え方を点群での形状符号化に応用した．形状の複雑な箇所は視覚的に劣化が目立たないという仮説をおき，符号化における学習モデルを制御する方法を検討した．ブロック単位の形状符号化では，符号化レートを大幅に削減すると，面に大きな穴が開いているかのような劣化が生じることを発見し，このような劣化を抑制するように検討した．形状が複雑ではないブロックは重要であるとして，劣化を抑制するように制御する手法とした．この方式により，符号量を低減しつつ，点群全体で視覚的に良好な符号化結果を得ることができることを実験により確認した．さらに点に色がついている場合に，色情報が複雑に変化する部分は，視覚的に劣化が目立たないと仮説をおき，色情報が複雑な部分は重要度が低いとして，劣化の抑制を制御する手法を検討した．色情報の複雑度合を用いることでも，点群全体として符号量を低減しつつ，色を加えた形で視覚的に良好な符号化結果を得ることができることを明らかにした．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度の目的は，点群の形状の重要度に基づいて符号化を制御することで全体的な符号化効率を向上することであった．
学習ベースの符号化においては，学習モデルの違いから潜在変数の情報量が異なる．古典的な変換符号化における変換係数とは異なり，潜在変数で表現される情報の形式が学習モデルに強く依存することから，学習モデルを制御することで符号量を制御する方針とした．また，ブロック単位で深層学習ベースで符号化する手法では，符号化レートを大きく削減すると，潜在変数の情報量が極端に少なくなり，復元される点に偏りが生じて，点群全体で大きな穴があく問題が生じることを発見した．そこで，このような穴があく劣化を，点の重要度に応じて抑制することで，符号化レートを下げつつ，高い品質の符号化結果が得られる方式を検討した．穴があく劣化が主観的に目立つのは，形状が複雑ではない部分であることに着目して，形状の複雑度合を形状の重要度の尺度に用いて制御することとした．形状の複雑度合を求めるにあたり，深層学習を用いて点群から各点の法線情報を抽出して，ブロック単位にそれらの法線のばらつきを計測して複雑度合を表現する．また，色のある点群においては，色の複雑度合も重要度の尺度に用いて制御することにした．色の複雑度合については，令和４年度での知見を活かし，ブロック単位に色情報を面に投影して符号化するが，その符号化対象で色情報の複雑度合を求めることにした．また，この色情報の複雑度合により，面に投影した色情報の符号化も制御する．このような方針で，学習モデルを制御しつつ符号化することで，大きな穴があく劣化を抑制しつつ，主観的に劣化の目立たない結果が得られるかどうかを検証した．これらにより，点群の形状の重要度に基づいて符号化を制御することで全体的な符号化効率を向上できることを実現し，目的を達成した．
|
| 今後の研究の推進方策 |
令和６年度は，令和５年度までに発見した，主観的に大きな影響を与える符号化歪を補正する手法を検討する．点の劣化度合を評価する尺度を再考し，大きな穴があく劣化度合も評価できるようにする．補正においては，主観的な品質を重視する．機械学習などを用いた手法の利用方法も検討する．重要度に応じた復元をするために，重要度に関係する属性情報を活用する手法を検討する．
|
| 次年度使用額が生じた理由 |
令和６年度は，主観的な影響を調査しつつ，劣化を補正する手法の検討が主となる．このため，評価環境を構築するための表示機器や，実物体の形状や色を取得するセンサを購入する．さらに，成果発表を積極的に行いたいと考えており，このため国内外の旅費として使用するとともに，外国語論文の校閲や投稿料として使用する．
|
