複数人称視点に基づく知能化空間の時空間記述とシーン再構成
| Project/Area Number |
19J12159
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
中嶋 一斗 九州大学, システム情報科学研究院, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2019-04-25 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2020: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2019: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 知能化空間 / ライフログ / 深層学習 |
|---|
| Outline of Research at the Start |
本研究では，人とサービスロボットが共生する一般生活環境において，人の行動履歴や人・ロボット・環境間のインタラクションなどの生活情報をデジタルデータとして記録し，人の要求に応じて拡張現実として提示できる，体験閲覧型ライフログシステムを開発する．特に，人の一人称視点カメラ，ロボットの二人称視点カメラ，環境に固定された三人称視点カメラから得られる3種の画像情報をもとに生活情報を自動要約する技術，蓄積した生活情報から未来の状態を予測する技術，および拡張現実としてシーン再構成する技術を開発し，提案システムによるユーザ体験への効果を実証的に分析する．
|
| Outline of Annual Research Achievements |
本年度は，複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法について，昨年度までの実験結果をまとめ，国際論文誌1件に投稿した．また，要約情報に基づく3次元再現シーンのAR提示に向けた，3次元シーン生成手法に関する研究に着手した．複数人称視点画像に基づく人・ロボット共生シーンの状況要約手法については，昨年度までに本研究課題に即した評価データセットの構築，複数人称視点画像から自然言語説明文として状況要約する機械学習モデルの開発，自動評価手法を用いた従来手法との定量的な有効性評価，および内部挙動の可視化による定性的解析を行った．本年度は，これらの成果をまとめた論文を国際論文誌Robomech Journalに投稿し，採録された．また，要約情報に基づいて3次元シーンを再現するためのアプローチとして，深層生成モデルに基づく3次元シーン生成手法の開発に着手した．本研究ではまず，画像表現が可能な距離センサの3次元点群データに着目し，軽量な2次元演算を介した3次元シーン生成モデルの開発に取り組んだ．本年度は，既存手法の学習安定性と品質の改善に取り組み，自動運転車の全方位距離センサから構築された路上の3次元点群データを用いて有効性を検証した．開発した手法は，距離センサで得られる一般の3次元点群データに適用できるため，学習用データセットを構築することができれば，本課題で想定するような屋内シーンの生成に今後転用することができる．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(4 results)
