Understanding and Generation of Designs using 3D Reinforcement Learning
| Project/Area Number |
19K24354
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1001:Information science, computer engineering, and related fields
|
|---|
| Research Institution | The University of Tokyo (2020)
Tokyo University of Science (2019) |
|---|
Principal Investigator |
Furuta Ryosuke 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| Project Period (FY) |
2019-08-30 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 強化学習 / 教師なし学習 / 特徴点マッチング / 奥行き推定 / ステレオマッチング / 画素強化学習 / 顕著性 / 3次元モデル / デザイン理解 / 創作支援 |
|---|
| Outline of Research at the Start |
本研究では，3次元的なデザインに対する感覚を人工知能(ニューラルネット)に理解させ，新たなデザインを創造させることを目的とする．一般的に，新しいデザインの創造は難しいとされるため，人工知能にデザインを理解・創造させることができれば，人々の創作活動支援に有用である．また，囲碁や将棋，ゲームなどでトッププロのプレーヤーを超える性能を見せ，人間が思いもよらないような手を用いることもある強化学習を利用してデザインを創造させることで，創作活動支援のみにとどまらず，デザイナーも想像もしないような全く新しい芸術性を生み出す可能性も秘めている．また，そのために3次元強化学習という新たな学術的テーマに取り組む．
|
| Outline of Final Research Achievements |
In FY2019, I worked on reinforcement learning with pixel-wise rewards, which is the base of this study, and proposed its novel application: saliency-driven image enhancement. This work was accepted to IEEE Transactions on Multimedia (TMM), which is the top journal in the field of multimedia.
In order to deal with 3D shape, in FY2020, I worked on unsupervised learning of feature point matching, which is useful for 3D reconstruction. This work was accepted to International Conference on Pattern Recognition (ICPR), which is a flagship conference in the field of pattern recognition.
|
| Academic Significance and Societal Importance of the Research Achievements |
IEEE TMMに掲載された画素強化学習は，各画素でどのアクションが取られたかを可視化することができるため，どの画素値がどう変更されたかを人が見て理解することができる．そのため，ブラックボックスとしての画像処理技術の使用が敬遠されることの多い医療画像処理の応用も期待される．
ICPRにて発表した教師なし特徴点マッチングは，深層学習に基づく特徴点マッチングによる3次元形状推定が，大量の正解付き学習データを必要とせず可能となるため，実応用上でボトルネックとなることのアノテーションの労力を必要としない．そのため実応用可能性の向上に貢献する．
|
Report
(3 results)
Research Products
(4 results)
