• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

深層学習を用いた弱教師あり学習による画像に対する物体位置推定

Research Project

Project/Area Number 17J10261
Research InstitutionThe University of Electro-Communications

Principal Investigator

下田 和  電気通信大学, 情報理工学研究科, 特別研究員(DC1)

Project Period (FY) 2017-04-26 – 2020-03-31
Keywords領域分割 / 深層学習 / 弱教師あり学習
Outline of Annual Research Achievements

2018年に発表されたPSAという弱教師あり領域分割手法がある。PSAはCRFを適用した領域分割結果における領域の類似度を学習し、この領域の類似度を使うことで領域分割の結果を改善するという新しい概念を取り入れた弱教師あり領域分割手法であり、大きな精度向上をもたらしている。本年度の研究においては更なる精度向上を目指すためにこの手法を活用することを考えPSAが学習時に用いているCRFの問題点に着眼した手法を考案した。この研究においては、CRF適用前とCRF 適用後の領域分割結果を入力として, これらの二つの領域分割結果からできるだけ多くの正解領域を得るという新しいタスクを設定した。これを達成するために,提案手法においては自己教師学習による変化領域の推論を行っている。自己教師学習とは、人手によるアノテーションを必要としない教師情報を用いて学習を行う手法である。二つの推測結果の差分は簡単な処理で得ることが可能であり、教師情報を必要としないのでこの変化領域の推論は自己教師学習の一つであると考えることができる。
提案手法では自己教師あり学習による変化領域の推論が学習サンプルの外れ値をよく発見できることを確認し, この推論結果を入力マスクのラベルの確信度として活用し、領域補正を行うことが可能であることを示した。また、本研究ではこの手法を用いて学習中の教師情報におけるノイズを推定し, 正しいラベルに上書きをするという難しい課題についても取り組んだ。昨年度の手法においては画像レベルで誤りを多く含んでいる教師情報の推定を試みていたが、本手法では誤りの推定を領域レベルで行い、さらにこれを新しい教師情報に置き換えることができた。これにより、本手法はPascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。これは現在の弱教師あり領域分割における最高精度である。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

深層学習における領域分割の教師情報のコスト削減のために、「深層学習を用いた弱教師あり学習による画像に対する物体位置推定」についての研究を昨年度に引き続き今年度も行った。昨年度においては、教師情報に含まれる誤りに着目し、誤りを多く含む画像を推定しこれを学習には使わないことで精度向上を目指した。しかしながら、元のよい精度の領域分割結果の数が十分でなく、ノイズ除去をした結果による学習は予想以上の精度向上には繋がらなかった。
本年度の研究においては、自己教師学習による変化領域の推論を行い、変化領域の推論が学習サンプルの外れ値をよく発見できることを確認した。また、この推論結果を入力マスクのラベルの確信度として活用し、領域補正を行うことが可能であることを示した。本研究ではこの手法を用いて学習中の教師情報におけるノイズを推定し, 正しいラベルに上書きをするという難しい課題についても取り組んでいる。昨年度の手法においては画像レベルで誤りを多く含んでいる教師情報の推定を試みていたのに対し、本手法では誤りの推定を領域レベルで行い、さらにこれを新しい教師情報に置き換えることができた。これにより、本手法はPascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。これは現在の弱教師あり領域分割における最高精度である。解決する問題の方向性を変更することで、精度を向上させることができた。前年度と比較して大きな精度の向上であり、おおむね順調に進呈しているといえる。

Strategy for Future Research Activity

本年度における提案手法においては自己教師学習による変化領域の推論を行い、Pascal VOC 2012 データセットの弱教師あり領域分割手法において65.3%を達成した。この手法をさらに拡張するために、今後の研究として階層的なノイズ除去手法を考えている。変化領域の推定を用いた弱教師あり領域分割手法においては領域レベルで教師情報の誤り情報を推定し、これを正しいものに上書きするという課題に取り組み、よい結果を得ることができたが、誤りの全てを推定することはできていない。そこで、現在はこの手法を再帰的に適用することで、より精度の高い誤り領域の推定が可能となるのではないかと考えている。また、自己教師あり学習による変化領域の推論は学習サンプルのノイズを推定する手法として役に立ったがこの知見は弱教師あり領域分割にも適用可能な可能性がある。具体的には、クラス分類や物体検出など一般的な課題においても学習サンプルにノイズが含まれている場合、本手法によりこれを発見することができる可能性がある。

  • Research Products

    (14 results)

All 2019 2018

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (12 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Weakly Supervised Semantic Segmentation Using Distinct Class Specific Saliency Maps2019

    • Author(s)
      Wataru Shimoda and Keiji Yanai
    • Journal Title

      Computer Vision and Image Understanding

      Volume: - Pages: -

    • DOI

      https://doi.org/10.1016/j.cviu.2018.08.006

    • Peer Reviewed
  • [Journal Article] Webly-Supervised Food Detection with Foodness Proposal,2019

    • Author(s)
      Wataru Shimoda and Keiji Yanai
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E102-D Pages: -

    • DOI

      https://doi.org/10.1587/transinf.2018CEP0001

    • Peer Reviewed / Open Access
  • [Presentation] A Large-scale Analysis of Regional Tendency of Twitter Photos Using Only Image Features2019

    • Author(s)
      Tetsuya Nagano, Takumi Ege, Wataru Shimoda and Keiji Yanai
    • Organizer
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Int'l Joint Research
  • [Presentation] Image-Based Estimation of Real Food Size for Accurate Food Calorie Estimation2019

    • Author(s)
      Takumi Ege, Yoshikazu Ando, Ryosuke Tanno, Wataru Shimoda and Keiji Yanai
    • Organizer
      Proc. of IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR)
    • Int'l Joint Research
  • [Presentation] 変化領域の推測による弱教師あり領域分割の精度向上2019

    • Author(s)
      下田 和, 柳井 啓司
    • Organizer
      電子情報通信学会 パターン認識・メディア理解研究会(PRMU)
  • [Presentation] Food Category Transfer with Conditional Cycle GAN and a Large-scale Food Image Dataset2018

    • Author(s)
      Daichi Horita, Ryosuke Tanno, Wataru Shimoda, Keiji Yanai
    • Organizer
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Int'l Joint Research
  • [Presentation] Food Image Generation using A Large Amount of Food Images with Conditional GAN: RamenGAN and RecipeGAN2018

    • Author(s)
      Yoshifumi Ito, Wataru Shimoda and Keiji Yanai
    • Organizer
      Proc. of International Workshop on Multimedia Assisted Dietary Management (MADIMA)
    • Int'l Joint Research
  • [Presentation] Magical Rice Bowl: Real-time Food Category Changer2018

    • Author(s)
      Ryosuke Tanno, Daichi Horita, Wataru Shimoda and Keiji Yanai
    • Organizer
      ACM Multimedia, Demo Paper
    • Int'l Joint Research
  • [Presentation] Font Style Transfer Using Neural Style Transfer and Unsupervised Cross-domain Transfer2018

    • Author(s)
      Atsushi Narusawa, Wataru Shimoda, and Keiji Yanai
    • Organizer
      Proc. of ACCV Workshop on AI Aesthetics in Art and Media
    • Int'l Joint Research
  • [Presentation] 深層学習による質感文字生成2018

    • Author(s)
      成沢 淳史, 下田 和, 柳井 啓司
    • Organizer
      人工知能学会全国大会
  • [Presentation] 大量のTwitter画像を用いたConditional Cycle GANによる食事写真カテゴリ変換2018

    • Author(s)
      堀田 大地, 成冨 志優, 丹野 良介, 下田 和, 柳井 啓司
    • Organizer
      人工知能学会全国大会
  • [Presentation] 教師情報に含まれるノイズに堅牢な弱教師あり領域分割手法2018

    • Author(s)
      下田 和, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
  • [Presentation] 画像マイニングを用いた Conditional Cycle GAN による食事画像変換2018

    • Author(s)
      堀田 大地, 丹野 良介, 下田 和, 柳井 啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)
  • [Presentation] CNNを用いた質感文字生成2018

    • Author(s)
      成沢淳史, 下田和, 柳井啓司
    • Organizer
      画像の認識・理解シンポジウム(MIRU)

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi