| 研究課題/領域番号 |
21K17759
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
古田 諒佑 東京大学, 生産技術研究所, 助教 (20843535)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2023-03-31
|
| キーワード | 物体検出 / 半自動着色 / クラスタリング / インペインティング / 話者推定 |
|---|
| 研究実績の概要 |
2021年度は漫画におけるシーン理解に向けた取り組みとして，シーン理解という包括的な問題をコンピュータビジョン分野における個々の基礎的なタスクに分割して取り組んだ．具体的には，キャラクター顔画像のクラスタリング，話者推定，インペインティング，描き文字検出，半自動着色という5つのコンピュータビジョン分野における基礎的なタスクに切り分けて取り組んだ．個々のタスクにおいて，既存手法の課題を発見しそれらを改善する手法を提案し，精度評価にてその効果の確認を行った．具体的には，キャラクター顔画像のクラスタリングでは作品に依らない特徴表現の学習方法を提案しクラスタリング精度を向上させ，話者推定ではルールベースとBERTによる機械学習の識別を組み合わせた高精度な推定方法を提案した．インペインティングでは作者の画風に注目して各画風の特徴を捉えて補間を学習する方法を提案した．描き文字検出では合成データを使用した効率的な学習方法と線画化を用いた高精度な検出方法を，半自動着色ではスクリーントーン画像とベタ塗り（下塗り）画像を用いた高精度な自動着色手法をそれぞれ提案した．これらの内容は国内学会では画像の認識・理解シンポジウム (MIRU)のポスター発表と映像表現・芸術科学フォーラムの口頭発表を行い，映像表現・芸術科学フォーラムでは3件の優秀発表賞を受賞した．また，半自動着色の内容は画像処理分野における査読付き旗艦国際会議ICIPとコンピュータグラフィックス分野における国際会議SIGGRAPH ASIAのポスターに採択され発表を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
2021年度の成果は映像表現・芸術科学フォーラムにおいて3件の優秀発表賞を受賞する等，自己のみならず同分野の研究者からも大きく評価された．また，半自動着色の内容は画像処理分野における査読付き旗艦国際会議ICIPとコンピュータグラフィックス分野における国際会議SIGGRAPH ASIAのポスターに採択され発表を行ったことなどから，当初の計画以上に進展していると言える．
|
| 今後の研究の推進方策 |
2021年度は漫画のシーン理解という包括的な問題を5つの基礎的なコンピュータビジョンタスクに切り分けて取り組んだ．2022年度は，それらに取り組む中で見つかった課題である，作品ごとの差異による精度低下の問題に取り組む予定である．具体的には，学習用に用意した作品と評価用に用意した作品の絵柄（作風）が大きく異なる場合は認識精度が低下してしまう問題である．これは，各作品を一つのドメインとしてみなすとコンピュータビジョン分野におけるdomain generalizationの問題として捉えることができる．domain generalizationでは学習時に見たことのないドメインのデータでテストを行うタスクである．2022年度はこの問題を解決するため，漫画のシーン理解に直結する一般的な物体検出問題をdomain generalizationの設定で取り組み，高精度に認識可能な手法の提案に尽力する．
|
| 次年度使用額が生じた理由 |
2021年度は，国内会議9件，国際会議2件の発表を行ったが，新型コロナウイルスによる影響でそれらは全てオンラインでの参加と発表となった．そのため当初計画していた旅費を使用することなく次年度使用額が生じた．2022年度は国内会議や国際会議は徐々にオフライン開催やオンラインとのハイブリッド開催が増えてきており，それらの聴講や発表参加費や旅費として主に使用する予定である．
|
