• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

深層学習を用いた弱教師あり学習による画像に対する物体位置推定

研究課題

研究課題/領域番号 17J10261
研究機関電気通信大学

研究代表者

下田 和  電気通信大学, 情報理工学研究科, 特別研究員(DC1)

研究期間 (年度) 2017-04-26 – 2020-03-31
キーワード領域分割 / 深層学習 / 弱教師あり学習
研究実績の概要

2018年に発表されたPSAという弱教師あり領域分割手法がある。PSAはCRFを適用した領域分割結果における領域の類似度を学習し、この領域の類似度を使うことで領域分割の結果を改善するという新しい概念を取り入れた弱教師あり領域分割手法であり、大きな精度向上をもたらしている。本年度の研究においては更なる精度向上を目指すためにこの手法を活用することを考えPSAが学習時に用いているCRFの問題点に着眼した手法を考案した。この研究においては、CRF適用前とCRF 適用後の領域分割結果を入力として, これらの二つの領域分割結果からできるだけ多くの正解領域を得るという新しいタスクを設定した。これを達成するために,提案手法においては自己教師学習による変化領域の推論を行っている。自己教師学習とは、人手によるアノテーションを必要としない教師情報を用いて学習を行う手法である。二つの推測結果の差分は簡単な処理で得ることが可能であり、教師情報を必要としないのでこの変化領域の推論は自己教師学習の一つであると考えることができる。
提案手法では自己教師あり学習による変化領域の推論が学習サンプルの外れ値をよく発見できることを確認し, この推論結果を入力マスクのラベルの確信度として活用し、領域補正を行うことが可能であることを示した。また、本研究ではこの手法を用いて学習中の教師情報におけるノイズを推定し, 正しいラベルに上書きをするという難しい課題についても取り組んだ。昨年度の手法においては画像レベルで誤りを多く含んでいる教師情報の推定を試みていたが、本手法では誤りの推定を領域レベルで行い、さらにこれを新しい教師情報に置き換えることができた。これにより、本手法はPascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。これは現在の弱教師あり領域分割における最高精度である。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

深層学習における領域分割の教師情報のコスト削減のために、「深層学習を用いた弱教師あり学習による画像に対する物体位置推定」についての研究を昨年度に引き続き今年度も行った。昨年度においては、教師情報に含まれる誤りに着目し、誤りを多く含む画像を推定しこれを学習には使わないことで精度向上を目指した。しかしながら、元のよい精度の領域分割結果の数が十分でなく、ノイズ除去をした結果による学習は予想以上の精度向上には繋がらなかった。
本年度の研究においては、自己教師学習による変化領域の推論を行い、変化領域の推論が学習サンプルの外れ値をよく発見できることを確認した。また、この推論結果を入力マスクのラベルの確信度として活用し、領域補正を行うことが可能であることを示した。本研究ではこの手法を用いて学習中の教師情報におけるノイズを推定し, 正しいラベルに上書きをするという難しい課題についても取り組んでいる。昨年度の手法においては画像レベルで誤りを多く含んでいる教師情報の推定を試みていたのに対し、本手法では誤りの推定を領域レベルで行い、さらにこれを新しい教師情報に置き換えることができた。これにより、本手法はPascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。これは現在の弱教師あり領域分割における最高精度である。解決する問題の方向性を変更することで、精度を向上させることができた。前年度と比較して大きな精度の向上であり、おおむね順調に進呈しているといえる。

今後の研究の推進方策

本年度における提案手法においては自己教師学習による変化領域の推論を行い、Pascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。この手法をさらに拡張するために、今後の研究として階層的なノイズ除去手法を考えている。変化領域の推定を用いた弱教師あり領域分割手法においては領域レベルで教師情報の誤り情報を推定し、これを正しいものに上書きするという課題に取り組み、よい結果を得ることができたが、誤りの全てを推定することはできていない。そこで、現在はこの手法を再帰的に適用することで、より精度の高い誤り領域の推定が可能となるのではないかと考えている。また、自己教師あり学習による変化領域の推論は学習サンプルのノイズを推定する手法として役に立ったがこの知見は弱教師あり領域分割にも適用可能な可能性がある。具体的には、クラス分類や物体検出など一般的な課題においても学習サンプルにノイズが含まれている場合、本手法によりこれを発見することができる可能性がある。

  • 研究成果

    (14件)

すべて 2019 2018

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (12件) (うち国際学会 6件)

  • [雑誌論文] Weakly Supervised Semantic Segmentation Using Distinct Class Specific Saliency Maps2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      Computer Vision and Image Understanding

      巻: - ページ: -

    • DOI

      https://doi.org/10.1016/j.cviu.2018.08.006

    • 査読あり
  • [雑誌論文] Webly-Supervised Food Detection with Foodness Proposal,2019

    • 著者名/発表者名
      Wataru Shimoda and Keiji Yanai
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E102-D ページ: -

    • DOI

      https://doi.org/10.1587/transinf.2018CEP0001

    • 査読あり / オープンアクセス
  • [学会発表] A Large-scale Analysis of Regional Tendency of Twitter Photos Using Only Image Features2019

    • 著者名/発表者名
      Tetsuya Nagano, Takumi Ege, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • 国際学会
  • [学会発表] Image-Based Estimation of Real Food Size for Accurate Food Calorie Estimation2019

    • 著者名/発表者名
      Takumi Ege, Yoshikazu Ando, Ryosuke Tanno, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • 国際学会
  • [学会発表] 変化領域の推測による弱教師あり領域分割の精度向上2019

    • 著者名/発表者名
      下田 和, 柳井 啓司
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
  • [学会発表] Food Category Transfer with Conditional Cycle GAN and a Large-scale Food Image Dataset2018

    • 著者名/発表者名
      Daichi Horita, Ryosuke Tanno, Wataru Shimoda, Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] Food Image Generation using A Large Amount of Food Images with Conditional GAN: RamenGAN and RecipeGAN2018

    • 著者名/発表者名
      Yoshifumi Ito, Wataru Shimoda and Keiji Yanai
    • 学会等名
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • 国際学会
  • [学会発表] Magical Rice Bowl: Real-time Food Category Changer2018

    • 著者名/発表者名
      Ryosuke Tanno, Daichi Horita, Wataru Shimoda and Keiji Yanai
    • 学会等名
      ACM Multimedia, Demo Paper
    • 国際学会
  • [学会発表] Font Style Transfer Using Neural Style Transfer and Unsupervised Cross-domain Transfer2018

    • 著者名/発表者名
      Atsushi Narusawa, Wataru Shimoda, and Keiji Yanai
    • 学会等名
      Proc. of ACCV Workshop on AI Aesthetics in Art and Media
    • 国際学会
  • [学会発表] 深層学習による質感文字生成2018

    • 著者名/発表者名
      成沢 淳史, 下田 和, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
  • [学会発表] 大量のTwitter画像を用いたConditional Cycle GANによる食事写真カテゴリ変換2018

    • 著者名/発表者名
      堀田 大地, 成冨 志優, 丹野 良介, 下田 和, 柳井 啓司
    • 学会等名
      人工知能学会全国大会
  • [学会発表] 教師情報に含まれるノイズに堅牢な弱教師あり領域分割手法2018

    • 著者名/発表者名
      下田 和, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] 画像マイニングを用いた Conditional Cycle GAN による食事画像変換2018

    • 著者名/発表者名
      堀田 大地, 丹野 良介, 下田 和, 柳井 啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)
  • [学会発表] CNNを用いた質感文字生成2018

    • 著者名/発表者名
      成沢淳史, 下田和, 柳井啓司
    • 学会等名
      画像の認識・理解シンポジウム(MIRU)

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi