2016 Fiscal Year Research-status Report
マルチモーダルな観察データに基づく動植物鑑定システム
| Project/Area Number |
15K12027
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
青野 雅樹 豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (00372540)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 画像特徴量 / 深層学習 / 双線形フィルタ / 端数型プーリング |
|---|
| Outline of Annual Research Achievements |
2年目の最大の研究実績として植物鑑定の国際コンテスト(PlantCLEF2016)で世界最高精度を達成することができた。具体的な成果概要は以下の通り。なお、これらの研究成果は、国際コンテストのほか、国際ワークショップならびに国際会議での口頭発表論文として発表した。
【項目1:動植物鑑定向き特徴量抽出とマルチモーダル化】1年目は手作りの特徴量として画像に含まれる輪郭や形状の位置情報がある程度取れるHOG特徴量とFisherベクトル特徴量の2つを組み合わせ、確率論的な鑑定方法を開発した。2年目は、深層学習で利用される畳込みニューラルネットワーク(CNN)特徴量を導入し、これに観察日のデータ（メタデータ）やノイズ除去法などをマルチモーダルな立場から技術開発し、挑戦した。
【項目2： 世界最高レベルの鑑定性能に向けた技術開発】1年目は、その前年度の国際コンテストのデータを用いて、それより優れた結果を後から確認したが、2年目は、国際コンテストPlantCLEF2016に参加し、世界第一位の検索性能を達成できた。
【項目3： 実用化に向けた技術開発】通常のCNN特徴量の抽出では、GPUを有効に利用するため入力画像は正方形が期待される。入力画像が長方形の場合、クロップするか、歪変形して正方形にしなければならなかった。2年目には双線形補間フィルタを開発し、正方形という制限をなくした。また、端数型プーリングを開発した。端数型プーリング法により、速度と精度ならびにメモリサイズのトレードオフで、いいバランスで深層学習を実現することが可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
世界最高レベルの鑑定精度を目指していたが、国際コンテスト（PlantCLEF2016）で世界一の鑑定精度を達成できたので、当初の計画以上の進展と判定した。各項目での進捗状況は以下の通りである。
【項目1】国際コンテストPlantCLEF2016では、ノイズ画像（人間や植物以外の画像）が含まれた状況で、しかも、植物画像には「花」「葉」「茎」「枝」「樹皮」「実」のほか、風景や人間の手などがが写りこんでおり、昨年までとは鑑定のための困難さが倍増した。また、訓練画像には、「花」「樹皮」など学習用データが極端に少ないものもある。そこで、観察時のメタデータ（マルチモーダルデータ）をうまく使う手法を導入した。
【項目2】この項目は世界一を達成できたので、当初の予定以上とした主理由である。
【項目3】開発した双線形補間フィルタが正方形でない入力画像に非常に有効であった。この部分は査読付き国際会議でも採択され口頭発表できたので、当初の計画以上とした別の理由として考えている。
|
| Strategy for Future Research Activity |
【項目1】植物の鑑定では、専門家でも細粒度で鑑定が難しい種類を判定できる技術の開発が必要である。更にクラウド・ソーシングとして不特定のユーザがアップした植物画像は、サイズもまちまち、焦点もボケているものが多く、さらに植物以外のノイズが多い。加えて訓練データに間違ったラベルもありえるという過酷な仮定で、2016年の10倍多い、10,000種類の植物を鑑定する課題に挑戦する。対策として、メタデータを使ったマルチモーダル化は必須で、加えて、「アテンションモデル」などの技術を導入し、画像内のどこに鑑定対象があるか、また、それらに適切な注釈文を付与する技術の開発を行うことで、質問応答等、応用技術にも焦点を当てる予定である。さらに、撮影場所の位置情報や、動きのある動物の鑑定に向けた他のモーダル情報に関しても対応できるよう技術的な検討を行う予定である。
【項目2】世界一の植物鑑定精度の技術はすでに論文で公開しているため、世界各国から、より高度な技術が登場すると予想される、そこで、2016年度に開発した深層学習はもとより、少ない訓練データでも高精度が出せる技術の模索を行う。また、精度の出にくい「樹皮」画像に関しては、混在する画像から樹皮画像のみを検出するフィルタの開発や樹皮に特化した鑑定方法の開発を目指す。
【項目3】双線形補間フィルタは成功を収めたが、さらに端数型プーリング手法を組合わせ、VGGNetだけでなく、50層以上のResNetに関しても挑戦し、バッチサイズ、モデルパラメータ、ハイパーパラメータの最適値を模索する。
|
