Learning Methods and Applications for Real-World Object Detection

Research Project

Project/Area Number	23K16896
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61010:Perceptual information processing-related
Research Institution	The University of Tokyo
Principal Investigator	古田諒佑東京大学, 生産技術研究所, 助教 (20843535)
Project Period (FY)	2023-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000) Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000) Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	半教師有り学習 / 弱教師有り学習 / ドメイン汎化 / 物体検出 / オープンセット認識
Outline of Research at the Start	物体検出では学習時に見たことのないドメインのデータにおいて検出精度が低下する問題と，学習時に見たことのないクラスは検出することができない問題が知られている．そこで本研究では，識別能力を維持したままドメイン普遍な特徴表現を学習時に事前に獲得することで，未知のドメインおよび新規クラスに対応可能な物体検出器の学習方法の確立を目指す．またその先の展望として物体検出のみならず，Instance Segmentation等の発展的課題や産業応用を視野に入れた内容にも取り組む．
Outline of Annual Research Achievements	2023年度は主に物体検出のドメイン汎化の問題に取り組んだ。物体検出では学習時とテスト時にドメイン（データ分布）が異なると性能が大きく低下してしまうという問題がある。そこで、複数のドメインでのデータを集めて未知のドメインにも汎化する物体検出器を学習させるのが従来のドメイン汎化と呼ばれるタスクであるが、これは正解アノテーション付きの学習データを収集するコストが高い。そこで、私は物体検出における半教師有りおよび弱教師有りドメイン汎化と呼ばれる新たな問題に取り組んだ。半教師有りドメイン汎化では、単一のドメインでのみ正解アノテーション付きデータを用い、他のドメインでは正解アノテーション無しのデータを学習に用いる。弱教師有りドメイン汎化では、同じく単一のドメインでのみ正解アノテーション付きデータを用い、他のドメインでは弱ラベル付きのデータを学習に用いる。そのため、アノテーションコストを抑えて物体検出器を学習させることができる。私はこの２つのタスクにおいて、Mean Teacherと呼ばれる学習フレームワークがうまく動作することを実験的に示し、さらになぜ上手く動作するのかについて理論的な観点から新しい解釈を与えた。また、その解釈に基づいてさらに検出精度を向上させる正則化手法を提案した。本研究の内容は、国内で最大規模の査読有りコンピュータビジョンの会議であるMIRU2023にて口頭発表に選出された。また、コンピュータビジョン分野の最難関国際会議にも投稿中である。また、漫画の物体検出における年代による絵柄の違いによる性能低下の問題にも取り組んだ。この問題もドメインの違いによる性能低下の一種ととらえることができる。Mean Teacherを用いたドメイン適応手法を用いることで性能低下を抑えることが可能であることを検証し、国内のPRMU研究会にて発表した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2023年度の本研究の内容は、国内で最大規模の査読有りコンピュータビジョンの会議であるMIRU2023にて口頭発表に選出された。そしてコンピュータビジョン分野における最難関国際会議にも投稿中である。また関連する漫画の物体検出におけるドメイン適応の研究成果も国内の研究会にて発表しており、順調に進展していると言える。
Strategy for Future Research Activity	2023年度は主に未知のドメインに対応できるように物体検出のドメイン汎化の問題に取り組んだ。上述したように、その内容では順調に研究成果が得られたため、2024年度は未知のクラスに対応できるようにzero-shot物体検出と呼ばれるタスクに取り組む方針である。具体的には大規模言語モデルなどを用いて未知のクラスに対する外部知識を獲得しそれを利用することで未知のクラスに対処する方法を検討中である。