| 研究課題/領域番号 |
20H04217
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
櫻田 健 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)
|
|---|
| 研究分担者 |
高村 大也 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 変化検出 / 説明文生成 / プライバシー |
|---|
| 研究実績の概要 |
本年度は4Dアースキャプショニングを実現するために3Dモデリング、シーンの変化検出・変化説明文生成に関する研究に取り組んだ。
3Dモデリングとしては、プライバシー保護機能を有するVisual SLAMを開発した。本技術により、３次元点群からシーン画像を復元する反転攻撃を防ぎながら、リアルタイムにカメラ姿勢の推定と３次元マップを推定することが可能となった。本研究はコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択され発表を行なった。
シーンの変化検出手法としては、異なる時刻に撮影された画像ペアのみからシーン変化を推定する自己教師学習手法を開発した。従来の変化検出手法では、シーン変化の正解データを手動でアノテーションする必要があるため作成コストが高く、実用上の大きな障害となっていた。本手法によりその作成コストが不要となり、実用性が大幅に向上した。本手法はロボティクスのトップカンファレンスの一つであるIROS2020に採択され発表を行なった。さらに、物体レベルの変化検出手法も開発し、成果を取りまとめて国際会議に投稿した。これらの研究内では、CGシミュレータを利用してシーン変化の画像データセット作成も行なった。
変化説明文生成の研究としては、まず、データセットの作成と手法のベースモデルを構築した。さらに、上述のCGシミュレータを利用して改めてシーン変化の画像データセットを作成し、クラウドソーシングサービスを利用して各画像ペアに対して説明文を付与した。このデータセットに対して、上述の物体レベルの変化検出モデルを拡張した変化説明文生成モデルを学習し、異なる時刻に撮影された画像ペアからシーン変化の説明文を生成できることを確認した。今後、さらなるモデルの改良を行い、成果をまとめて国際会議に投稿する。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
次年度に予定していた説明文生成の評価用データセットを構築し、さらに、当初予定していなかったプライバシー保護機能を有するVisual SLAMを開発しその成果がコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択された。それらに加えて、シーンの変化検出手法もロボティクスのトップカンファレンスの一つであるIROS2020に採択されるなど外部から高い評価を受けた。
|
| 今後の研究の推進方策 |
今後は、作成した変化説明文生成のデータセットを利用して、変化説明文生成モデルの改良に取り組む。さらに実画像データセットを作成し、大量のCGデータと少量の実画像データセットから説明文生成モデルを高精度化する研究にも取り組む。
|
