2020 Fiscal Year Research-status Report
微分可能クラスタリングによる教師なし画像セグメンテーションの深層学習に関する研究
| Project/Area Number |
20K19837
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
金崎 朝子 東京工業大学, 情報理工学院, 准教授 (00738073)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 画像処理 / 深層学習 / 教師なし学習 / 画像セグメンテーション |
|---|
| Outline of Annual Research Achievements |
画像セグメンテーションは物体等のまとまり毎に画像領域を分割するタスクであり，画像処理の本質的な課題の一つである．従来手法では色やテクスチャを表す画像特徴量を人間が定義し，特徴量の類似度に基づいて領域を分割する方法が主に使われていた．これに対し，昨今の深層学習を用いた手法によれば，車，人，道路等の意味的なまとまりを持った画像領域を分割しラベルを付与するセマンティックセグメンテーションが可能になってきている．しかしながら，深層学習には大量の教師データが必要である．そこで本研究は，教師データを一切必要としない教師なし深層学習による画像セグメンテーションを開発する．
本年度は，これを実現するための微分可能クラスタリングという基盤技術を提案し，理論を確立するとともに，様々なデータセットで有効性を評価した．提案手法は入力画像に対し，特徴抽出モジュールと画素クラスタリングモジュールをEnd-to-Endに学習することで，双方を最適化する．（特徴学習を行わない）デファクトスタンダードな教師なし画像セグメンテーション手法であるグラフカット，および近年開発された深層学習ベースの従来手法と比較し，複数のベンチマークデータセットにおいて提案手法の高い有効性を示した．また，scribbleと呼ばれるユーザインプットにより少数の画素の正解ラベルを手がかりとして与えるセグメンテーションタスクにおいても，提案手法が非常に高い精度を出すことを示した．さらに，二次元画像だけでなく動画像データのセグメンテーションへ応用し，様々なアプリケーションへと発展させた．本研究成果は画像処理分野のトップジャーナルであるIEEE Transactions on Image Processing（IF： 9.34）に採択された．さらに，電気通信普及財団 テレコムシステム技術学生賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画として挙げていた微分可能クラスタリングという基盤技術の提案・理論の確立，複数のデータセットにおける評価実験，および動画像データへの拡張の全ての項目を達成することができた．そして，これらの研究成果が画像処理分野のトップジャーナルであるIEEE Transactions on Image Processing（IF： 9.34）に採択され，さらに電気通信普及財団 テレコムシステム技術学生賞を受賞した．以上の理由から，本研究課題の進捗状況は順調であると言える．
|
| Strategy for Future Research Activity |
本研究成果を再現するソースコードをオープンソースとしてGitHubに公開しており，既に360以上のスター数を獲得している．当該ソースコードは，世界中の様々な大学や研究機関において，特に医用画像処理分野で広く利用されている．次年度は，それらの研究機関からの問い合わせへの対応およびソースコードの改良を通して，医用画像処理分野をはじめとする様々な研究分野への貢献を図る．さらに，教師無し・弱教師あり学習の最先端および医療応用というテーマで，日本医用画像工学会(JAMIT)誌「MEDICAL IMAGING TECHNOLOGY」の特集論文を寄稿する．
|
| Causes of Carryover |
コロナ禍の影響で学会やシンポジウム等への参加のための出張が皆無となったため，計画していた旅費および学会参加費が未使用となった．翌年度は，パソコン周辺機器およびクラウド計算サービス利用料に予算を充て，計算資源の拡充を行う．
|
