• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

深層学習を用いた細粒度な三次元形状類似検索・自動注釈付与技術の研究

研究課題

研究課題/領域番号 17H01746
研究機関豊橋技術科学大学

研究代表者

青野 雅樹  豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)

研究期間 (年度) 2017-04-01 – 2021-03-31
キーワード部分形状抽出 / 部分形状検索 / 3D検索 / 静止物体認識 / 物体位置推定 / 移動物体検出 / 注釈付与
研究実績の概要

2019年度の研究実績に関しては、以下の3点に関して成果があった。前年度と同様、特許出願や国際会議での口頭発表を行ったほか、国際ジャーナルでも採択された。
【項目1:3D部分形状検索の深層学習モデルを導入した細粒度な手法に関する研究】我々が開発してきた、各種の部分形状類似検索に関して、PointNetをベースとした深層学習特徴量を導入し、細粒度な部分形状抽出を行い、同時に高精度な部分検索手法を開発した。
【項目2:静止物体検出の研究】細粒度の部分検索を行うためには、3Dシーンのワンカットに相当する2Dフレーム中の画像に写る物体の場所、形状などの認識が不可欠である。そこで、2D画像中に含まれる物体検出を高速で高精度に行える深層学習を用いた手法を開発した。
【項目3:移動物体検出の研究】3Dシーンのような複雑なシーンへの自動注釈を行うためには、静止画だけでなく、動画にも対応する必要が在る。理由は、3Dシーンの中をカメラが移動すれば得られるのは動画であるからだ。同様に、カメラが移動しなくても、物体が移動することもある。このような状況を仮定し、空間と時間情報に加え、時空間情報を扱える手法を開発し、結果として高精度な移動物体検出手法を開発した。

これらの項目に対して【項目1】に関しては、特許出願を行うことができ、同時に国際会議に投稿後、採択され、2件の口頭発表を行った。【項目2】に関しても、1件の特許出願おw達成でき、国際会議に投稿後、採択され口頭発表を行った。【項目3】に関しては、動画の物体認識に関して、空間情報と時間情報を組み合わせた時空間ニューラルネットによる深層学習モデルを考案し、IEEEの国際ジャーナルに投稿後、採択され出版された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

特許2件(三次元部分検索に関する特許と物体検出に関する特許)を出願することができたこと、ならびに3件以上の国際会議で採択され、口頭発表できたこと、ならびに国際ジャーナルで採択され、出版されたことが一番の理由である。

一方、細粒度の3D形状の部分検索技術を可能にする技術があれば、複雑な3Dシーンに対してアノテーションを付与することが可能である。3Dシーン中にカメラが配備されると仮定し、3Dシーンの静止画となる2Dスクリーン投影画像中の物体検出が、自動注釈付与のために必須なな要素技術であると考え、この目標に向けて、物体検出で国際会議論文で口頭発表し、他方、アノテーション技術にも関連する動画分類で、インパクトファクタの高いIEEEの国際ジャーナルでの出版ができた。

以上を踏まえ、「おおむね順調に進展している」と判断した。

今後の研究の推進方策

次年度は本研究の最終年度でもあり、全体の成果をまとめると同時に、更に高性能で細粒度の部分検索技術の開発を目指す。さらに、100万近い実際の3Dのビッグデータで、我々の研究開発した技術の実用性、ロバスト性を確認する。
一方、自動注釈技術に関しては、個々の物体検出にとどまらず、注釈文が付与できる技術開発を目指す。

  • 研究成果

    (25件)

すべて 2020 2019

すべて 雑誌論文 (4件) (うち国際共著 2件、 査読あり 3件) 学会発表 (19件) (うち国際学会 5件、 招待講演 1件) 産業財産権 (2件)

  • [雑誌論文] Coverage-based query subtopic diversification leveraging semantic relevance2020

    • 著者名/発表者名
      Shajalal Md.、Aono Masaki
    • 雑誌名

      Knowledge and Information Systems

      巻: 62 ページ: 2873~2891

    • DOI

      10.1007/s10115-020-01470-3

    • 査読あり / 国際共著
  • [雑誌論文] Multi-Label Multi-Class Action Recognition With Deep Spatio-Temporal Layers Based on Temporal Gaussian Mixtures2020

    • 著者名/発表者名
      Joefrie Yuri Yudhaswana、Aono Masaki
    • 雑誌名

      IEEE Access

      巻: 8 ページ: 173566~173575

    • DOI

      10.1109/ACCESS.2020.3025931

    • 査読あり / 国際共著
  • [雑誌論文] Tweet Stance Detection Using Multi-Kernel Convolution and Attentive LSTM Variants2019

    • 著者名/発表者名
      SIDDIQUA Umme Aymun、CHY Abu Nowshed、AONO Masaki
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102.D ページ: 2493~2503

    • DOI

      10.1587/transinf.2019EDP7080

    • 査読あり
  • [雑誌論文] Semantic textual similarity between sentences using bilingual word semantics2019

    • 著者名/発表者名
      Shajalal Md.、Aono Masaki
    • 雑誌名

      Progress in Artificial Intelligence

      巻: 8 ページ: 263~272

    • DOI

      10.1007/s13748-019-00180-4

  • [学会発表] 時空間情報を考慮した動画からの複数動作の同時検出手法2020

    • 著者名/発表者名
      杉山裕哉, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] Self-Attention機構に着目した顕著領域の抽出とNeural Style Transferへの応用2020

    • 著者名/発表者名
      山内良介, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] 多視点で撮影された動画を用いた技能判定2020

    • 著者名/発表者名
      佐藤荘一朗, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] 質問のパターンに着目した医療分野におけるVisual QAの検討2020

    • 著者名/発表者名
      馬田英雄, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] Attentionと意味情報補強処理による高速な物体検出手法の提案2020

    • 著者名/発表者名
      山重雄哉, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] Neural Landmark Transferによる機械部品の打痕画像生成手法2020

    • 著者名/発表者名
      山口裕希, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] Transformer Decoderを用いた料理画像からの料理名と食材の同時推定2020

    • 著者名/発表者名
      名髙祐輔, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] Self-Attention機構を用いた文章からの画像生成手法2020

    • 著者名/発表者名
      川會悠生, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] 全体画像と部分画像を入力とするCNNを用いた詳細画像識別2020

    • 著者名/発表者名
      松野拓海, 山内良介, 浅川徹也, 青野雅樹
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] OffensEval データセットを用いたツイートの攻撃性の有無およびターゲット推定2020

    • 著者名/発表者名
      花畑圭佑, 青野雅樹
    • 学会等名
      言語処理学会第26回年次大会 (NLP2020)
  • [学会発表] ラベルマップを用いて学習したCNNによる地理情報と環境情報からの生物種推定2020

    • 著者名/発表者名
      竹ノ内達哉, 青野雅樹,
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
  • [学会発表] BREPの面隣接情報に基づいた部分形状抽出による三次元モデルの部分形状類似検索2020

    • 著者名/発表者名
      岩淵渉, 青野雅樹
    • 学会等名
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020),
  • [学会発表] Median based Multi-label Prediction by Inflating Emotions with Dyads for Visual Sentiment Analysis2019

    • 著者名/発表者名
      Tetsuya Asakawa and Masaki Aono
    • 学会等名
      Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2019 (APSIPA2019)
    • 国際学会 / 招待講演
  • [学会発表] FPSSD7: Real-time Object Detection using 7 Layers of Convolution based on SSD2019

    • 著者名/発表者名
      Yuya Yamashige and Masaki Aono
    • 学会等名
      6th International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA2019)
    • 国際学会
  • [学会発表] Action Recognition by Composite Deep Learning Architecture I3D-DenseLSTM2019

    • 著者名/発表者名
      Yuri Yudhaswana Joefrie and Masaki Aono
    • 学会等名
      6th International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA2019)
    • 国際学会
  • [学会発表] Tweet Stance Detection Using an Attention based Neural Ensemble Model2019

    • 著者名/発表者名
      Umme Aymun Siddiqua, Abu Nowshed Chy, and Masaki Aono
    • 学会等名
      Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies
    • 国際学会
  • [学会発表] KDEHatEval at SemEval-2019 Task 5: A Neural Network Model for Detecting Hate Speech in Twitter2019

    • 著者名/発表者名
      Umme Aymun Siddiqua, Abu Nowshed Chy, and Masaki Aono
    • 学会等名
      Proceedings of the 12th International Workshop on Semantic Evaluation (SemEval2019)
    • 国際学会
  • [学会発表] 三次元CADモデルの連結情報を用いた部分形状類似検索2019

    • 著者名/発表者名
      岩淵渉, 青野雅樹
    • 学会等名
      PRMU研究会, 電子情報通信学会
  • [学会発表] RethinkNetを用いた料理画像からの料理名と食材の推定2019

    • 著者名/発表者名
      名髙祐輔, 青野雅樹,
    • 学会等名
      FIT2019,
  • [産業財産権] 不良品画像生成プログラムおよび良否判定装置2020

    • 発明者名
      山口裕希、青野雅樹
    • 権利者名
      山口裕希、青野雅樹
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2020-033423
  • [産業財産権] 形状検索方法および形状検索システム2019

    • 発明者名
      岩淵渉、青野雅樹
    • 権利者名
      岩淵渉、青野雅樹
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2019-190438

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi