Research on advanced multimodal signal processing and compression
| Project/Area Number |
23K11155
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Hosei University |
|---|
Principal Investigator |
高村 誠之 法政大学, 情報科学部, 教授 (60965721)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 光ショットノイズ / 赤外画像 / 深度画像 / 3D点群 / マルチモーダル信号 / 信号処理 / データ圧縮 |
|---|
| Outline of Research at the Start |
センサーが多種多様化し、画像や音声以外にも様々なモーダルが取得されている。このデータ量は日々増大しており、一部を捨てざるを得ない状況となっている。本研究では、モーダル間の関係性や拘束条件に着目し、このデータを捨てずに活用できるよう整理保管するための基盤技術の研究を行う。従来これら観測データの取り扱いはモーダルごとに独立に行われていたが、特にデータ量の多い映像および深度情報における、モーダル間の関係性および被写体の表面立体形状の持つ拘束条件等を考慮したモデルを構築し、それに基づいたデータの低ノイズ化と情報圧縮を実現し、結果として観測データの価値を高め伝送・蓄積コストを低下させることができる。
|
| Outline of Annual Research Achievements |
本研究では、センサーの多種多様化が進展しているため音声や可視光以外にも赤外光や深度(奥行き)など様々なモーダルのデータの取得量が日々増大しているため、貴重な取得データの一部を捨てざるを得ない状況が発生していることに鑑み、モーダル間の関係性や観測値の拘束条件に着目し、得られたデータを捨てることなく利用・活用できるよう整理保管するための基盤となる技術の研究を行うことをテーマとしている。
本年度は、センシングデータにおいて代表的である可視(RGB)・赤外・深度モーダルの情報に着目し、赤外画像の存在を前提とすると可視画像信号を推測しその圧縮に寄与できることを確認した。また、モーダル間のずれ、特に深度情報と可視画像のずれを補正するために、深度情報と赤外画像はずれがないことに着目し、可視画像のずれを補正する方法を検討した。また、3D点群ビデオ中の非剛体のフレーム間変形を補償するための位置合わせの予備検討を行った。また、センシング情報に必ず混入し画像処理や符号化の妨げとなるノイズについて精査し、熱ノイズや暗電流ノイズなど現在の撮像技術では限界まで低減できているノイズと本質的に異なり、原理的に取り除くことができない「光ショットノイズ」に着目し、カメラが取得した非圧縮信号を調査し、重畳ノイズの精査を行い、このノイズとデジタル化とを正確に考慮した撮像モデルを定式化した。その結果、デジタル撮像素子が取得できる最高輝度(8bitなら255、10bitなら1023)を超える明るさも取得可能であることを理論的に提唱し、実機実験から最高輝度を3割ほど超える明るさまで取得できることを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度、3D点群のテクスチャ画像効率的符号化の研究成果は国内会議1件、査読付き国際会議2件発表し、光ショットノイズおよび量子化を正確に考慮する撮像モデルについては査読付き国際会議2件発表(うち1件は招待講演)の成果を挙げた。
|
| Strategy for Future Research Activity |
今後は、3D点群中の非剛体のフレーム間変形の補償および複数フレーム統合による超解像処理、およびそのV-PCC国際符号化規格準拠符号化の検証を行い有効性を確認する。また、赤外モーダルの有効利用の検討を進め、可視・赤外統合型の符号化方式を改良し性能改善を図る。さらに、デジタルカメラ内のD/A変換の動作を正確に計測し従来得られなかった精度での画像輝度計測を行う。これらをまとめ学会発表する計画である。
|
Report
(1 results)
Research Products
(5 results)
