| Project/Area Number |
23K28074
|
|---|
| Project/Area Number (Other) |
23H03384 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山口 弘純 大阪大学, 大学院情報科学研究科, 教授 (80314409)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000)
Fiscal Year 2025: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Fiscal Year 2024: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2023: ¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
|
|---|
| Keywords | 状況要約技術 / 機械学習 / 3次元点群 / 動画像 / センシング / 状況理解 / エッジコンピューティング |
|---|
| Outline of Research at the Start |
本研究では、高精細カメラやLiDARなど高性能かつデータリッチなセンサを搭載するドローンやスマートフォンなどのエッジデバイスが、被災現場などの状況を理解し、人間に代わりその状況説明を行うための状況要約技術の確立を目指す。オブジェクト間の物理距離や意味的相関・因果関係の解析を行い、軽量学習モデルのパラメータを学習・獲得することで状況理解を実現するアプローチを提案し、計算機資源の限られるエッジデバイス上でも軽量に状況理解を可能とする方法論を構成する。
|
| Outline of Annual Research Achievements |
マルチモーダル空間センサから得られる3次元点群や動画像からのオブジェクト検知、およびそれらの位置関係や意味的な依存・因果関係を導出するため，今年度は主に人物の物体のセグメンテーションを行う技術やセグメントの移動を動画像および3次元点群において把握する技術を創出した．人物の歩行シーンや屋内行動などにおいて，センサの移動や撮影角なども考慮した手法を複数創出している．それらにおいては，センサ方向の検知と補正を行いながら実現する技術を検討した．より具体的には，計算機能とセンサを一体化した小型可搬型LiDARを用い，移動時における向きや角度も考慮した手法や，そのデバイスを応用した転倒検知手法，またウェアラブルカメラを用いた人物認識手法などを開発している．さらに，次年度のシーン理解に向けて，マルチモーダル生成ＡＩを用いた3次元点群のシーン理解を試行し，シーン分類性能における一定の成果を得ている．これらの成果は，モバイル・パーベイシブ計算で著名な国際論文誌であるElsevierのPervasive and Mobile Computingや，IEEE Pervasive Computing Magazine への掲載を実現するなどしている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通りに進行している．今年度は3次元点群，動画像を共に対象とし，そのデータ内におけるオブジェクトの存在や移動，行動を理解する技術に焦点を当てるとともに，次年度に向けて生成ＡＩを利用したシーン把握の取組も開始している．それらの成果は著名国際論文誌や国際会議等で公表している．
|
| Strategy for Future Research Activity |
次年度は検出オブジェクトの関係性に基づくシーン理解に挑戦する．これまでのオブジェクト検出の性能を向上させるとともに，より複雑なシーンにおける状況理解と要約技術について検討を始める．
|
