| Project/Area Number |
22K12098
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
木全 英明 工学院大学, 情報学部(情報工学部), 教授 (80913582)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 点群 / ポイントクラウド / 符号化 / 深層学習 / 主観品質 / 量子化 |
|---|
| Outline of Research at the Start |
実世界にある物体の情報をサイバー空間で利用するために，物体の３次元位置と形状を表す点群（ポイントクラウド）が増加しており，圧縮符号化が検討されている．深層学習ベースのロッシー符号化が検討されているが，全ての点群を一律で符号化するため圧縮率を上げると点群の位置情報が大きく劣化する問題がある．本研究では点群の属性として重要度を導入し，位置情報を重要度に基づき量子化することで，物体の構造情報を保ちつつ点群全体を高い圧縮率で符号化する方法を確立する（令和4, 5年度）．また符号化ストリームの復号結果から，点群の位置情報の歪を補正し，点群全体の位置情報の精度を向上する復元方法を確立する（令和6年度）．
|
| Outline of Annual Research Achievements |
本研究の目的は，点群に重要度の概念を取り入れて圧縮に利用することで，主観的に重要な点群の再現性を保ちつつ点群全体の圧縮効率を向上する方式を研究することである．
今年度は，視覚的に劣化が目立たない度合に基づいて点群に重要度を設定し，その重要度に応じて，点群を符号化した時に生じる形状劣化を抑制して，符号量を削減する手法を研究した．令和４年度での知見を活かし，ブロック単位で深層ニューラルネットワークによるオートエンコーダを用いて，学習モデルを適応的に制御して符号化する手法を検討した．一般的に，画像の圧縮符号化において，ブロック内の画像信号の複雑度合をもとに，変換係数の量子化度合を調整する制御が行われる．これは複雑な絵柄があるブロックにおいては，高周波成分の再現性が低くても，視覚的な劣化が目立たないという経験則に基づく．この考え方を点群での形状符号化に応用した．形状の複雑な箇所は視覚的に劣化が目立たないという仮説をおき，符号化における学習モデルを制御する方法を検討した．ブロック単位の形状符号化では，符号化レートを大幅に削減すると，面に大きな穴が開いているかのような劣化が生じることを発見し，このような劣化を抑制するように検討した．形状が複雑ではないブロックは重要であるとして，劣化を抑制するように制御する手法とした．この方式により，符号量を低減しつつ，点群全体で視覚的に良好な符号化結果を得ることができることを実験により確認した．さらに点に色がついている場合に，色情報が複雑に変化する部分は，視覚的に劣化が目立たないと仮説をおき，色情報が複雑な部分は重要度が低いとして，劣化の抑制を制御する手法を検討した．色情報の複雑度合を用いることでも，点群全体として符号量を低減しつつ，色を加えた形で視覚的に良好な符号化結果を得ることができることを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の目的は，点群の形状の重要度に基づいて符号化を制御することで全体的な符号化効率を向上することであった．
学習ベースの符号化においては，学習モデルの違いから潜在変数の情報量が異なる．古典的な変換符号化における変換係数とは異なり，潜在変数で表現される情報の形式が学習モデルに強く依存することから，学習モデルを制御することで符号量を制御する方針とした．また，ブロック単位で深層学習ベースで符号化する手法では，符号化レートを大きく削減すると，潜在変数の情報量が極端に少なくなり，復元される点に偏りが生じて，点群全体で大きな穴があく問題が生じることを発見した．そこで，このような穴があく劣化を，点の重要度に応じて抑制することで，符号化レートを下げつつ，高い品質の符号化結果が得られる方式を検討した．穴があく劣化が主観的に目立つのは，形状が複雑ではない部分であることに着目して，形状の複雑度合を形状の重要度の尺度に用いて制御することとした．形状の複雑度合を求めるにあたり，深層学習を用いて点群から各点の法線情報を抽出して，ブロック単位にそれらの法線のばらつきを計測して複雑度合を表現する．また，色のある点群においては，色の複雑度合も重要度の尺度に用いて制御することにした．色の複雑度合については，令和４年度での知見を活かし，ブロック単位に色情報を面に投影して符号化するが，その符号化対象で色情報の複雑度合を求めることにした．また，この色情報の複雑度合により，面に投影した色情報の符号化も制御する．このような方針で，学習モデルを制御しつつ符号化することで，大きな穴があく劣化を抑制しつつ，主観的に劣化の目立たない結果が得られるかどうかを検証した．これらにより，点群の形状の重要度に基づいて符号化を制御することで全体的な符号化効率を向上できることを実現し，目的を達成した．
|
| Strategy for Future Research Activity |
令和６年度は，令和５年度までに発見した，主観的に大きな影響を与える符号化歪を補正する手法を検討する．点の劣化度合を評価する尺度を再考し，大きな穴があく劣化度合も評価できるようにする．補正においては，主観的な品質を重視する．機械学習などを用いた手法の利用方法も検討する．重要度に応じた復元をするために，重要度に関係する属性情報を活用する手法を検討する．
|
