| Project/Area Number |
23K24838
|
|---|
| Project/Area Number (Other) |
22H03582 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
藤橋 卓也 大阪大学, 大学院情報科学研究科, 助教 (10785520)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡辺 尚 大阪大学, 大学院情報科学研究科, 教授 (90201201)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2025: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
|
|---|
| Keywords | マルスメディア / 点群 / ネットワーク伝送 / ネットワーク |
|---|
| Outline of Research at the Start |
本研究では，1) 情報源グラフ符号化技術による点群・マルスメディアの効率的なデータ量削減，2) ソフトネットワーク伝送技術による各ユーザ環境に応じた復元品質向上，3) 低遅延提示技術による点群・マルスメディア提示に要する応答遅延の削減を目指す．より具体的には，点群ならびに振動触覚情報を主な対象とした符号化ならびにネットワーク伝送手法を設計する．より具体的には，数十万点～数百万点で構成される点群を対象とした点群符号化・伝送手法の設計，多数の触覚センサから取得した振動触覚情報を対象とした符号化・伝送手法の設計を進める．設計した技術は理論，シミュレーションに加えて，実機実験によって評価する．
|
| Outline of Annual Research Achievements |
【点群伝送手法】本年度はグラフフーリエ変換を用いた点群伝送手法，グラフニューラルネットワーク(GNN)を用いた点群伝送手法についてそれぞれ設計を進めた．グラフフーリエ変換を利用した伝送手法においては1)グラフ基底関数に起因するオーバヘッドを削減するための基底関数圧縮手法，2)グラフフーリエ変換の高速化ならびに高性能化に寄与するグラフラプラシアン演算子探索手法についてそれぞれ設計した．また，GNNを用いた点群伝送手法においては重みつきDropoutを用いた潜在変数のレートレス化を実現することでマルチユーザ環境における点群伝送の高品質化を達成した．
【触覚伝送手法】触覚伝送手法においては1台の加速度センサから得られる振動触覚情報に対する伝送手法ならびに複数の触覚情報を取得可能なセンサデバイスの開発，伝送手法の設計を行った．より具体的には，得られた振動触覚情報のうち，ユーザにとって感知しやすい触覚情報を表す心理的触覚モデルに応じて適応的に振動触覚情報を削減することで正確な触覚情報を伝送しつつ，トラヒックを削減できることが分かった．また，複数のセンサから取得した振動触覚情報に対しては2次元離散ウェーブレット変換，2次元離散コサイン変換に基づく振動触覚情報の伝送手法を設計することでセンサ数の増加によるトラヒック増大の効果を抑制できることを明らかにした．
【低遅延提示手法】投機的映像伝送手法に対するトラヒック削減手法ならびに深層学習を用いたユーザによる操作予測手法を設計した．より具体的には，ユーザが取りうる入力に対応する映像情報間で生じる冗長な情報を削減するためにハッシュ関数をベースとした低遅延・低負荷差分符号化手法を設計した．また，ユーザが取りうる入力数を削減するためにビットベース，深層学習ベースでユーザが到達し得ない入力を推定する入力パターン削減手法を設計した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度も当初予定していた視覚情報・触覚情報に対する情報源符号化手法，伝送手法について計画どおり設計・評価を進めることができた．点群に対する伝送手法においてはグラフ信号処理を導入した点群符号化手法を効率化するために，そのトラヒック増大の要因となる基底関数を圧縮するための符号化手法を設計することができた．より具体的には，ニューラル陰関数表現(Implicit Neural Representation)を基底関数表現に対して導入することで前年度までに設計したギブンス回転，超指数量子化に基づくオーバヘッド削減手法より少ないオーバヘッドで点群をやり取りできることを明らかにした．本手法は2024年4月に開催された信号処理に関する国際会議であるICASSP2024において研究成果を発表した．また，GNNを用いた点群伝送手法についても2023年12月に開催された通信系の国際会議であるIEEE GLOBECOM2023で発表を行った．本研究成果は米国MERL秋濃博士との国際共同研究から得られたものでもある．
触覚情報に関する情報源符号化手法，伝送手法については複数の加速度センサから取得した振動触覚情報に対する符号化・伝送手法に関する研究成果をIEEE GLOBECOM2023で発表した．また，心理的触覚モデルに基づく振動触覚情報の伝送手法についてはIEEE Transactions on Hapticsに論文を投稿中である．
低遅延化提示手法に関わる投機的伝送手法については，伝送に要するトラヒック削減手法がIEICE Transactions on Communications，ユーザによる入力数パターン削減手法がIEEE Accessに採録されている．
|
| Strategy for Future Research Activity |
【点群伝送手法】次年度に向けては，これまでに開発したグラフフーリエ変換に基づく点群伝送手法を多数の点を含む点群に対して適用可能とする改善手法の設計を試みる．より具体的には，K近傍木アルゴリズムや八分木アルゴリズムに基づくブロック分割を適用した伝送手法を設計することで多数の点を含む点群においても実時間で符号化・伝送可能な伝送手法の設計を目指す．また，これまでに設計した基底関数に要するオーバヘッド削減手法，グラフラプラシアン演算子探索手法とを組み合わせた低トラヒック点群伝送手法の設計を試みる．設計手法についてはIEEE Transactions on Multimedia等の国際学術誌への投稿を目指す．
【触覚伝送手法】これまでの触覚伝送手法においては加速度センサ数が5個程度のデータセットを対象とした符号化・伝送手法の設計を進めてきた．次年度はより多数のセンサ（数十程度）から得られる振動触覚情報を効率的に符号化・伝送可能な手法設計に取り組む予定である．現在の検討としては，全振動触覚情報のうち，ある振動触覚情報を参照情報とする差分符号化を用いた伝送手法や，Positional Encoder等を用いた振動触覚情報に対するニューラル陰関数表現の設計が可能であるかを進めている．
【低遅延提示手法】投機的映像伝送手法においてトラヒック削減効果はどこまで高めることができるのかを検討する．より具体的には，多視点符号化等で用いられている視差補償を差分符号化に導入することでどれだけトラヒックを削減可能であるかを明らかにする．また，映像にとどまらず，投機的伝送手法が音響やその他の感覚情報に対して有効であるか，どのようなトラヒック削減手法が適用可能である数を検討する．
|
