2021 Fiscal Year Research-status Report
空間類似性に基づくサイバーフィジカル空間認識知能データベース構築
Project/Area Number |
21K21287
|
Research Institution | Osaka University |
Principal Investigator |
天野 辰哉 大阪大学, 情報科学研究科, 助教 (40906898)
|
Project Period (FY) |
2021-08-30 – 2023-03-31
|
Keywords | 3次元点群 / デジタルツイン / 行動センシング / LiDAR |
Outline of Annual Research Achievements |
研究の目的の一つである「高精度な人のパーソナル空間センシング」実現のため,複数のセンシング技術開発を進めた.まず (1) 3次元測域センサ(LiDAR)による3次元点群情報からの高速な人検出および追跡手法を設計・提案した.従来の3次元点群による物体・人物追跡手法では,複数の検出対象セグメント(例えば人により生じる点群)が近接により合体したり,あるいはセンサノイズやオクルージョンによって分裂したりする場合に,追跡が途絶えるという問題が生じていた.提案手法では合体・分裂状態をフレーム単位で判定し,カルマンフィルタにおける観測値を補正することでこれらの問題に対処し,より高い精度での人物追跡を実現している.手法について,大阪市梅田の繁華街において収集した広域点群データを用いて,CLEAR指標による精度評価を実施した.提案手法および実験・評価結果をパーベイシブ・コンピューティングに関する国際会議ワークショップで発表している.これに加えて,よりパーソナルな空間におけるセンシング技術として (2) ウェアラブルデバイスからのセンサデータを用いたLSTM-Autoencorderに基づくリアルタイム行動認識・予測手法を提案した.対象アプリケーションとしてスマートウォッチを用いた顔接触行動の検出を行い,国際会議でデモ発表を実施した.さらに (3) 「プライバシー保護の下で空間情報を共有するプラットフォーム」の設計も進め,LiDARとRGBカメラによる3次元空間内の情報を遠隔ARデバイスへ送信・共有する簡易実装を完了した.この遠隔共有システムについて通信の観点で性能評価を行い,国内ワークショップにて発表・優秀論文賞を受賞している.また,より大規模・長期間データでの検証を進めるために,大阪大学の特定キャンパスビル全域へLiDARを設置し,3次元点群に基づく人物センシング基盤を構築した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
半導体不足によりセンサ等実験機器の準備に時間を要しているものの,LiDARやデプス・RGBカメラを用いた (1) 空間内の人物センシング技術開発および大規模データでの評価が順調に進んだ.また (2) LSTM-Autoencorderに基づくスマートフォンやスマートウォッチによる各人物の詳細行動センシング手法も設計・提案が完了し,さらに,これら2つを紐づけるための,(3) ウェアラブルデバイスのセンサデータを用いたLiDAR計測空間内での人物マッチング手法を提案し,基礎部分を実装済みである.これは本研究の目的の一つである,ユーザ匿名認証を核とした空間内人物の識別とそれに基づくパーソナル空間デジタルツインへのアクセス制御の実現に資するものである.これらの研究成果について複数の国内研究会およびシンポジウムおよび国際会議ワークショップやデモンストレーションで発表した.また最終的な研究目的であるセンシングした空間情報共有のためのプラットフォームおよびデータベースの設計も進め,ARデバイス(Microsoft Hololens2)を用いた簡易実装および通信の観点での基礎性能評価が完了している.
|
Strategy for Future Research Activity |
これまでの公共空間における人物センシングの高精度化を進める.LiDARセンサの計測範囲の限界とセンサ設置位置の制約のために生じる不可視領域の存在により,現在の提案手法では人物軌跡が断片化される場合がある.これに対して,点群からの人物特徴抽出と深層距離学習を用いた高精度な人物再識別(Person Re-ID)技術を現在検討・設計中である.このRe-ID技術と空間内の移動パターン学習の組み合わせによって,広域の人物追跡に不可欠な軌跡断片の再接続を実現する.さらに軽量な深層学習モデルの活用により,追跡のリアルタイム性を損ねない,点群セグメントの属性・状態分類を行う.これらの人物センシング高精度化に必要なデータはすべてキャンパス内センシング基盤より収集済みである.また,これまで人の位置や行動センシング技術を軸として,空間のデータベース構築を進めてきたが,本研究の目的には人と「モノ」の関係性理解も含まれている.そこで今後は3次元点群データと人の動き情報に基づく「モノ」の位置・属性理解技術の開発も進める.2021年度中に稼働開始したキャンパスビルでのLiDARセンシングプラットフォームを最大限活用し,大規模・長期間での位置・行動データ収集を実施する.さらに得られる空間情報のデータベース化および遠隔地のAR・VRデバイスへのリアルタイム空間共有のデモンストレーションを実施する予定である.これらの空間センシングから遠隔共有までの一連のデジタルツインシステムに関わる研究成果を国際会議・国際ジャーナルに投稿予定である.
|
Causes of Carryover |
半導体不足により実験機器の納期が遅延しており,また新型コロナウイルスの影響により,研究会・学会がオンライン開催となり旅費の支出が無くなったため.
|
Research Products
(5 results)