超臨場感を実現するポイントクラウド・マルスメディアのネットワーク伝送に関する研究
| Project/Area Number |
23K24838
|
|---|
| Project/Area Number (Other) |
22H03582 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
藤橋 卓也 大阪大学, 大学院情報科学研究科, 助教 (10785520)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡辺 尚 大阪大学, 大学院情報科学研究科, 教授 (90201201)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2025: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
|
|---|
| Keywords | マルスメディア / 点群 / ネットワーク伝送 / ネットワーク |
|---|
| Outline of Research at the Start |
本研究では，1) 情報源グラフ符号化技術による点群・マルスメディアの効率的なデータ量削減，2) ソフトネットワーク伝送技術による各ユーザ環境に応じた復元品質向上，3) 低遅延提示技術による点群・マルスメディア提示に要する応答遅延の削減を目指す．より具体的には，点群ならびに振動触覚情報を主な対象とした符号化ならびにネットワーク伝送手法を設計する．より具体的には，数十万点～数百万点で構成される点群を対象とした点群符号化・伝送手法の設計，多数の触覚センサから取得した振動触覚情報を対象とした符号化・伝送手法の設計を進める．設計した技術は理論，シミュレーションに加えて，実機実験によって評価する．
|
| Outline of Annual Research Achievements |
【点群伝送手法】点群を主な対象とした無線伝送手法を設計した。可用帯域が限られた無線伝送路を介して点群を送信する場合，その多大なデータ量が問題となる．一方で，点群を構成する点の集合は3次元上で不規則にサンプリングされる．本年度は点群をグラフ信号とみなし，信号間の距離をもとに得られた隣接行列を用いてグラフフーリエ変換をグラフ信号に対して適用することで点群に対する効率的な情報源符号化技術を提案した．また，グラフフーリエ変換を通して得られた周波数係数はそのまま送信信号としてみなして伝送するニアアナログ変調と組み合わせた新たな点群伝送手法を提案した．本手法に関する成果は国際学術誌IEEE Transactions on Multimediaに採択された．
【触覚伝送手法】振動触覚情報に対する伝送手法を提案した．より具体的には，3軸加速度センサから得られた3次元の振動触覚情報を1次元化するとともに，1次元化した振動触覚情報に対して離散コサイン変換・離散ウェーブレット変換を用いて周波数係数に変換する．得られた周波数係数は前述のニアアナログ変調を用いて伝送する新たな触覚伝送手法を提案した．本手法に関する研究成果は国内会議マルチメディア、分散、協調とモバイル(DICOMO2022)シンポジウムで発表したとともに，優秀論文賞を受賞した．
【低遅延提示手法】本年度はより短い応答遅延で映像やマルスメディアを伝送するための基礎を確立するために，将来のユーザ入力を予測してサーバから事前に対応する映像を生成する投機的映像伝送手法および事前生成した映像のうち，冗長な映像を削減するトラヒック削減手法を設計した．実際のゲーム映像・ユーザ入力を用いた実験評価から，従来の投機的映像伝送手法と比較してより少ないトラヒックで応答遅延の最小化を達成できることを明らかにした．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
年度はじめに予定していた視覚情報・触覚情報に対する情報源符号化手法，伝送手法については当初の予定どおり設計・評価を進めることができた．点群に対する伝送手法においてはグラフ信号処理を導入することで規則的な構造（格子状の画素）に対する周波数変換技術である離散フーリエ変換・離散コサイン変換と比較して，より効率的な情報源符号化技術を実現できることがわかった．一方で，グラフ信号処理を導入した場合，グラフ基底関数に起因する多大なオーバヘッドが必要となることがわかった．効率性を維持するために，グラフ基底関数に起因するオーバヘッドを削減する方法を設計した．より具体的には，ギブンス回転を用いて基底関数を回転行列に変換するとともに，回転行列を構成するパラメータ分布に基づいた超指数量子化を設計することでオーバヘッドの削減を達成した．
触覚伝送手法に対しては情報源符号化技術・無線伝送技術を設計するだけでなく，ソフトウェア無線機Universal Software Radio Peripheral(USRP)上に提案手法ならびに既存手法を実装してシミュレーションのみならず，実環境下における各手法の性能を明らかにした．現在では様々な表面を対象とした提案手法の性能を議論するために，触覚情報を取得・再現可能な実験環境の構築を進めている．
以上の手法については、2022年9月に米国MERLに訪問して秋濃博士, Kieran Parsons博士らと研究ディスカッションした．
一方で，順調でなかった点は成果発表に関してである．国際会議 IEEE INFOCOM 2023や，IEEE ICC 2023，IEEE WorldHaptics 2023に論文を投稿していたが，これらの会議からは不採録通知を受けている．引き続き，手法設計・性能評価に加えて，著名な国際会議・国際学術誌での発表を目標と定め，研究を推進していく．
|
| Strategy for Future Research Activity |
【点群伝送手法】現在は発展手法として2通りの方法を検討している．1つ目はグラフフーリエ変換を用いた情報源符号化手法の高度化である．上述した手法ではグラフフーリエ変換において用いるグラフラプラシアン行列をランダムウォーク行列に固定している．一方で，近年ではパラメータ化されたグラフラプラシアン行列が提案されている．より正確に点群を復元可能な情報源符号化手法を検討するために，最適なグラフラプラシアン行列を用いた情報源符号化手法の設計を議論する．2つ目はグラフニューラルネットワーク(GNN)をもとにした伝送手法の設計である．GNNを用いた点群伝送手法はこれまで1対1に焦点を当てている．複数のユーザが同時に点群を視聴する環境においては受信できない潜在変数が復元品質の著しい低下をもたらすことがわかっている．現在は複数ユーザが同時に点群を視聴する場面においても，それぞれのユーザ環境に応じて品質が高い点群を提供する伝送手法の設計を目指す．
【触覚伝送手法】これまでに検討してきた触覚伝送手法は1台の加速度センサに対するものであった．一方で，人間の身体は多数の点で触覚を感知できることから，より多数の触覚情報をユーザに対して同時に伝送することが求められる．現在は複数の触覚情報を同時伝送可能な伝送手法の設計ならびにその実験環境の構築を進めている．例えば複数の加速度センサ，制御用PCを組み合わせることで同期ずれを小さくした触覚取得環境の構築をこれまでに達成している．
【低遅延提示手法】引き続き，投機的映像伝送手法ならびにトラヒック削減手法について検討する．より具体的には，これまでに投機的伝送手法とトラヒック削減手法をそれぞれ設計したことから，2手法を統合した手法を設計するとともにその性能について評価を進めていく．これらの研究成果については国際会議，国際学術誌での発表を目指す．
|
Report
(1 results)
Research Products
(27 results)
