2019 Fiscal Year Annual Research Report
Research on Fine-grained 3D Shape Similarity Search and Automatic Captioning using Deep Learning
| Project/Area Number |
17H01746
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 部分形状抽出 / 部分形状検索 / 3D検索 / 静止物体認識 / 物体位置推定 / 移動物体検出 / 注釈付与 |
|---|
| Outline of Annual Research Achievements |
2019年度の研究実績に関しては、以下の3点に関して成果があった。前年度と同様、特許出願や国際会議での口頭発表を行ったほか、国際ジャーナルでも採択された。
【項目１：3D部分形状検索の深層学習モデルを導入した細粒度な手法に関する研究】我々が開発してきた、各種の部分形状類似検索に関して、PointNetをベースとした深層学習特徴量を導入し、細粒度な部分形状抽出を行い、同時に高精度な部分検索手法を開発した。
【項目２：静止物体検出の研究】細粒度の部分検索を行うためには、3Dシーンのワンカットに相当する2Dフレーム中の画像に写る物体の場所、形状などの認識が不可欠である。そこで、2D画像中に含まれる物体検出を高速で高精度に行える深層学習を用いた手法を開発した。
【項目３：移動物体検出の研究】3Dシーンのような複雑なシーンへの自動注釈を行うためには、静止画だけでなく、動画にも対応する必要が在る。理由は、3Dシーンの中をカメラが移動すれば得られるのは動画であるからだ。同様に、カメラが移動しなくても、物体が移動することもある。このような状況を仮定し、空間と時間情報に加え、時空間情報を扱える手法を開発し、結果として高精度な移動物体検出手法を開発した。
これらの項目に対して【項目1】に関しては、特許出願を行うことができ、同時に国際会議に投稿後、採択され、2件の口頭発表を行った。【項目２】に関しても、1件の特許出願おｗ達成でき、国際会議に投稿後、採択され口頭発表を行った。【項目３】に関しては、動画の物体認識に関して、空間情報と時間情報を組み合わせた時空間ニューラルネットによる深層学習モデルを考案し、IEEEの国際ジャーナルに投稿後、採択され出版された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
特許2件（三次元部分検索に関する特許と物体検出に関する特許）を出願することができたこと、ならびに3件以上の国際会議で採択され、口頭発表できたこと、ならびに国際ジャーナルで採択され、出版されたことが一番の理由である。
一方、細粒度の3D形状の部分検索技術を可能にする技術があれば、複雑な3Dシーンに対してアノテーションを付与することが可能である。3Dシーン中にカメラが配備されると仮定し、3Dシーンの静止画となる2Dスクリーン投影画像中の物体検出が、自動注釈付与のために必須なな要素技術であると考え、この目標に向けて、物体検出で国際会議論文で口頭発表し、他方、アノテーション技術にも関連する動画分類で、インパクトファクタの高いIEEEの国際ジャーナルでの出版ができた。
以上を踏まえ、「おおむね順調に進展している」と判断した。
|
| Strategy for Future Research Activity |
次年度は本研究の最終年度でもあり、全体の成果をまとめると同時に、更に高性能で細粒度の部分検索技術の開発を目指す。さらに、100万近い実際の3Dのビッグデータで、我々の研究開発した技術の実用性、ロバスト性を確認する。
一方、自動注釈技術に関しては、個々の物体検出にとどまらず、注釈文が付与できる技術開発を目指す。
|
