2023 Fiscal Year Research-status Report
Research on advanced multimodal signal processing and compression
| Project/Area Number |
23K11155
|
|---|
| Research Institution | Hosei University |
|---|
Principal Investigator |
高村 誠之 法政大学, 情報科学部, 教授 (60965721)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 光ショットノイズ / 赤外画像 / 深度画像 / 3D点群 |
|---|
| Outline of Annual Research Achievements |
本研究では、センサーの多種多様化が進展しているため音声や可視光以外にも赤外光や深度(奥行き)など様々なモーダルのデータの取得量が日々増大しているため、貴重な取得データの一部を捨てざるを得ない状況が発生していることに鑑み、モーダル間の関係性や観測値の拘束条件に着目し、得られたデータを捨てることなく利用・活用できるよう整理保管するための基盤となる技術の研究を行うことをテーマとしている。
本年度は、センシングデータにおいて代表的である可視(RGB)・赤外・深度モーダルの情報に着目し、赤外画像の存在を前提とすると可視画像信号を推測しその圧縮に寄与できることを確認した。また、モーダル間のずれ、特に深度情報と可視画像のずれを補正するために、深度情報と赤外画像はずれがないことに着目し、可視画像のずれを補正する方法を検討した。また、3D点群ビデオ中の非剛体のフレーム間変形を補償するための位置合わせの予備検討を行った。また、センシング情報に必ず混入し画像処理や符号化の妨げとなるノイズについて精査し、熱ノイズや暗電流ノイズなど現在の撮像技術では限界まで低減できているノイズと本質的に異なり、原理的に取り除くことができない「光ショットノイズ」に着目し、カメラが取得した非圧縮信号を調査し、重畳ノイズの精査を行い、このノイズとデジタル化とを正確に考慮した撮像モデルを定式化した。その結果、デジタル撮像素子が取得できる最高輝度(8bitなら255、10bitなら1023)を超える明るさも取得可能であることを理論的に提唱し、実機実験から最高輝度を3割ほど超える明るさまで取得できることを実証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度、3D点群のテクスチャ画像効率的符号化の研究成果は国内会議1件、査読付き国際会議2件発表し、光ショットノイズおよび量子化を正確に考慮する撮像モデルについては査読付き国際会議2件発表(うち1件は招待講演)の成果を挙げた。
|
| Strategy for Future Research Activity |
今後は、3D点群中の非剛体のフレーム間変形の補償および複数フレーム統合による超解像処理、およびそのV-PCC国際符号化規格準拠符号化の検証を行い有効性を確認する。また、赤外モーダルの有効利用の検討を進め、可視・赤外統合型の符号化方式を改良し性能改善を図る。さらに、デジタルカメラ内のD/A変換の動作を正確に計測し従来得られなかった精度での画像輝度計測を行う。これらをまとめ学会発表する計画である。
|
| Causes of Carryover |
R5年度には約449千円の残額が発生した。これは購入を予定していたノートPC(決定額約463千円)の購入に、メーカー側の理由で時間を要しR6年度の購入となったことが主たる理由である。
R6年度は上記残額に当初予定研究費1,200千円を合わせた約1,649千円について、
当該ノートPC(納品済み)、多モーダル情報取得に必要な装置や消耗品、データ処理に必要な計算機設備、成果発表(情報収集)のための国内外旅費および参加費等として使用する計画である。
|
Research Products
(5 results)
