Scene Understanding and Generation for Manga using Scene Graphs
| Project/Area Number |
21K17759
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Furuta Ryosuke 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 物体検出 / 半自動着色 / クラスタリング / インペインティング / 話者推定 / ドメイン汎化 / 漫画 / シーン理解 / 画像生成 |
|---|
| Outline of Research at the Start |
本研究では，漫画における詳細なシーン理解を目指し，シーングラフ生成に取り組み，新たな技術を開発する．また，その応用としてシーングラフからのコマ画像の生成や先のコマ画像の予測にも取り組む．グラフを入力としてコマ画像を簡単に生成可能になれば，プロの作家のみならず幅広い方面での創作活動支援に有用である．本研究は漫画を対象として取り組むが，その要素技術は映画やアニメなどの他のコンテンツにも応用可能であると考えているため，あらゆる人々の創作活動支援に役立つことが期待される．
|
| Outline of Final Research Achievements |
In FY 2021, I split the scene understanding on Manga into some fundamental tasks on computer vision and worked on them. These works were presented in MIRU2021 as poster presentations and in Expressive Japan 2022 as oral presentations, and three of them won Outstanding Presentation Award in Expressive Japan 2022. Also, one of these works was accepted to the International Conference on Image Processing (ICIP) 2021, which is a flagship conference in the field of image processing, and SIGGRAPH ASIA 2021 Posters, which is an international conference on computer graphics.
In FY 2022, I worked on domain generalization for object detection, where the objective is to train a domain-invariant (i.e., robust to the change of image styles) detector. This work was accepted to MIRU2023 as a short oral presentation, which is the biggest conference on computer vision in Japan.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究の漫画のシーン理解に向けた取り組みにより，これまでよりも詳細かつ高精度なシーン理解が期待される。応用先としては、類似シーンを含む漫画の検索が可能となり、例えば販売サイトにおいてタグやタイトル・作者名による検索以外の新たな検索方法として利用可能である。別の応用先としては漫画の自動翻訳が挙げられ、自動翻訳の精度向上という産業応用に対する貢献だけでなく、高精度な自動翻訳により日本語版と同時に（遅延なく）正規の翻訳版を海外で出版できるようになり、海外における日本の漫画の海賊版普及の抑制という社会的貢献の可能性も秘めている。
|
Report
(3 results)
Research Products
(13 results)
