| Project/Area Number |
20H04217
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
櫻田 健 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2021)
|
| Budget Amount *help |
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2020: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
|
|---|
| Keywords | 画像説明文生成 / Visual SLAM / 変化検出 / シーングラフ / 説明文生成 / プライバシー |
|---|
| Outline of Research at the Start |
本研究では、上空・地上の両視点の画像から、地球上で起きている現象を自動で検出し，任意視点の説明文を生成する手法を開発する。人や車，建物など物体レベルのミクロな現象から，都市全体のマクロな現象まで，多様なスケールの事象を横断的に記述する新たな画像認識問題に対し、多視点幾何と画像説明文生成のモデルを融合することで、人間が知覚しきれない膨大なデータから重要な現象を自動で抽出し、分かりやすく提示するシステムの実現を目指す。
|
| Outline of Annual Research Achievements |
本年度は4Dアースキャプショニングを実現するために3Dモデリング、シーンの変化検出・変化説明文生成に関する研究に取り組んだ。
3Dモデリングとしては、プライバシー保護機能を有するVisual SLAMを開発した。本技術により、３次元点群からシーン画像を復元する反転攻撃を防ぎながら、リアルタイムにカメラ姿勢の推定と３次元マップを推定することが可能となった。本研究はコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択され発表を行なった。
シーンの変化検出手法としては、異なる時刻に撮影された画像ペアのみからシーン変化を推定する自己教師学習手法を開発した。従来の変化検出手法では、シーン変化の正解データを手動でアノテーションする必要があるため作成コストが高く、実用上の大きな障害となっていた。本手法によりその作成コストが不要となり、実用性が大幅に向上した。本手法はロボティクスのトップカンファレンスの一つであるIROS2020に採択され発表を行なった。さらに、物体レベルの変化検出手法も開発し、成果を取りまとめて国際会議に投稿した。これらの研究内では、CGシミュレータを利用してシーン変化の画像データセット作成も行なった。
変化説明文生成の研究としては、まず、データセットの作成と手法のベースモデルを構築した。さらに、上述のCGシミュレータを利用して改めてシーン変化の画像データセットを作成し、クラウドソーシングサービスを利用して各画像ペアに対して説明文を付与した。このデータセットに対して、上述の物体レベルの変化検出モデルを拡張した変化説明文生成モデルを学習し、異なる時刻に撮影された画像ペアからシーン変化の説明文を生成できることを確認した。今後、さらなるモデルの改良を行い、成果をまとめて国際会議に投稿する。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
次年度に予定していた説明文生成の評価用データセットを構築し、さらに、当初予定していなかったプライバシー保護機能を有するVisual SLAMを開発しその成果がコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択された。それらに加えて、シーンの変化検出手法もロボティクスのトップカンファレンスの一つであるIROS2020に採択されるなど外部から高い評価を受けた。
|
| Strategy for Future Research Activity |
今後は、作成した変化説明文生成のデータセットを利用して、変化説明文生成モデルの改良に取り組む。さらに実画像データセットを作成し、大量のCGデータと少量の実画像データセットから説明文生成モデルを高精度化する研究にも取り組む。
|
Report
(1 results)
Research Products
(11 results)
