| Project/Area Number |
20H04217
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
Sakurada Ken 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2020: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
|
|---|
| Keywords | 画像説明文生成 / 変化検出 / 空間モデリング / 変化説明文生成 / 視点 / 3Dキャプショニング / シーン変化 / 多視点 / 説明文生成 / シーン認識 / 3Dモデリング / Visual SLAM / シーングラフ / プライバシー |
|---|
| Outline of Research at the Start |
本研究では、上空・地上の両視点の画像から、地球上で起きている現象を自動で検出し，任意視点の説明文を生成する手法を開発する。人や車，建物など物体レベルのミクロな現象から，都市全体のマクロな現象まで，多様なスケールの事象を横断的に記述する新たな画像認識問題に対し、多視点幾何と画像説明文生成のモデルを融合することで、人間が知覚しきれない膨大なデータから重要な現象を自動で抽出し、分かりやすく提示するシステムの実現を目指す。
|
| Outline of Final Research Achievements |
We have developed fundamental technologies for efficiently reconstructing and updating 3D maps of a city from images and for explaining events occurring on the ground in a text that is easy for humans to understand. These technologies have shown the possibility of utilizing the vast amount of data collected from smartphones, drive recorders, and cameras installed for autonomous driving and driver assistance, where these data will be presented to users in the form of 3D maps and text. In addition, we have developed a real-time 3D localization and mapping method that considers scene privacy, which is a concern in map sharing.
|
| Academic Significance and Societal Importance of the Research Achievements |
コンピュータビジョンやロボティクス分野では、街並みの変化を検出する研究は行われてきたが、多くの場合３次元地図の更新を目的としているため、画素や点群、ボクセルのような観測単位の変化のみに着目しており、その意味的な理解はほとんど注目されてこなかった。本研究では、シーンを物体の集合として仮定し、物体単位の変化の検出と説明文生成を行うことで、人間が理解しやすく応用タスクで扱いやすい形で提示することを可能とした。また、シーンプライバシー保護手法において、従来の点群マップと異なる直線群マップに対し新たな再投影誤差モデルを定義し、カメラ姿勢と点群・直線群マップを同時に最適化可能とした点も学術的意義が大きい。
|
