Understanding and Generation of Designs using 3D Reinforcement Learning

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K24354
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: The University of Tokyo (2020); Tokyo University of Science (2019)
• Principal Investigator: Furuta Ryosuke 東京大学, 生産技術研究所, 助教 (20843535)
• Project Period (FY): 2019-08-30 – 2021-03-31
• Keywords: 強化学習 / 教師なし学習 / 特徴点マッチング

Outline of Final Research Achievements

In FY2019, I worked on reinforcement learning with pixel-wise rewards, which is the base of this study, and proposed its novel application: saliency-driven image enhancement. This work was accepted to IEEE Transactions on Multimedia (TMM), which is the top journal in the field of multimedia.
In order to deal with 3D shape, in FY2020, I worked on unsupervised learning of feature point matching, which is useful for 3D reconstruction. This work was accepted to International Conference on Pattern Recognition (ICPR), which is a flagship conference in the field of pattern recognition.

Free Research Field

コンピュータビジョン

Academic Significance and Societal Importance of the Research Achievements

IEEE TMMに掲載された画素強化学習は，各画素でどのアクションが取られたかを可視化することができるため，どの画素値がどう変更されたかを人が見て理解することができる．そのため，ブラックボックスとしての画像処理技術の使用が敬遠されることの多い医療画像処理の応用も期待される．
ICPRにて発表した教師なし特徴点マッチングは，深層学習に基づく特徴点マッチングによる3次元形状推定が，大量の正解付き学習データを必要とせず可能となるため，実応用上でボトルネックとなることのアノテーションの労力を必要としない．そのため実応用可能性の向上に貢献する．