2017 Fiscal Year Research-status Report
知識グラフを組込んだニューラルネットワークによる物体認識―物体・意味写像の提案―
| Project/Area Number |
17K00236
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
有木 康雄 神戸大学, 都市安全研究センター, 名誉教授 (10135519)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ゼロショット学習 / ImageNetデータセット / 見出し単語 / テキスト文書 / 知識グラフ / 意味表現 |
|---|
| Outline of Annual Research Achievements |
本研究では、物体の画像特徴だけでなく、物体に関する知識も同時に学習させることにより、既知物体の認識精度と未知物体の識別率の向上を目的としている。このような研究は、一般的にゼロショット学習と呼ばれている。ゼロショット学習では、既知の学習集合から学習した知識を、未知のテスト集合へ適用するために、画像特徴とその意味表現を用いる。
平成29年度は、異なる意味表現によって、ゼロショット学習の精度がどのように変化するか、最も精度の高い意味表現はどのようなものであるかについて研究を行った。まず、一般物体のゼロショット学習に対して、標準的な評価ベンチマークとなっているImageNetをベンチマークとして用いた。
ImageNetの各クラスはWordnetの概念と対応しており、3つの要素で定義されている。それらは、見出し単語、見出し単語を自然言語で説明したテキスト文書、Wordnetの他ノードに述語を介してリンクしている知識グラフである。同じ意味表現でも、コンピュータで扱えるベクトル形式に変換する方法が種々提案されているので、異なる意味表現、異なる変換方法によって、ゼロショット学習の精度がどのような影響を受けるか調べた。その結果、次のような結果が得られた。
第1に、単語表現は変換方法によって精度が同じではないことを発見した。従来のWord2vecの代わりにGloVeを用いると、ベースラインモデルの精度を2倍にすることができる。第2に、知識グラフは他の記述レベルより優れている。完全なwordnet知識グラフを用いるモデルでは、現在最も優れている方法より45%も精度を改善することができた。第3に、現在、最も研究が行われているテキスト文書は、ゼロショット学習のベンチマークでは、良い結果が得られなかった。
これらの結果を用いて、機能推定や画像認識、対話の精度と意味表現の関係についても研究を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度の計画として、下記4項目を予定していた。それぞれについて、以下の状況を達成している。
（１）物体画像の学習データセットを決定する：物体画像データベースとして、ImageNetをゼロショット学習のベンチマークに決定した。
（２）学習データセットの各物体画像を、知識グラフ内のノードに対応付ける：知識グラフとしては、Linked Open Data、特にBabelNetを用いて、ImageNetの画像とDBPediaの知識グラフを自動的に対応付けた。
（３）CNNによる深層学習を用いて、物体画像から画像特徴ベクトルを自動学習する：物体画像のImageNetベンチマークを用いて、ゼロショット学習をend-to-endで行い、画像特徴ベクトルをCNNにより自動学習した。
（４）知識グラフから物体の属性特徴ベクトルを自動学習する：知識グラフからベクトルに変換する方法を新たに提案し、従来手法より45%精度が向上することを確かめた。また、単語、テキスト文書、知識グラフという異なる意味メディアでは、従来良く研究されてきた単語や、現在主として研究されているテキスト文書に比べ、知識グラフを用いると最も精度が高くなることが分かった。
|
| Strategy for Future Research Activity |
平成29年度の成果を基に、平成30年度以降も予定通り研究を進める。
（５）深層学習により、画像特徴ベクトルから属性特徴ベクトルへ写像する：ゼロショット学習により、既に当初予定の「画像からCNNによる深層学習を用いて抽出した画像特徴ベクトルと、知識グラフから抽出した属性特徴ベクトルの間で写像を実現する」ことは完了しているが、まだ精度が低いので精度向上を行う予定である。
（６）特徴ベクトルの抽出過程と写像過程を統合する：深層学習を用いたゼロショット学習により、「画像から画像特徴ベクトルを抽出し、知識グラフの属性特徴ベクトルへ写像する方法」については、end-to-endで実現できている。次年度は精度向上を目指して、新しい方法を研究する予定である。
（７）画像と知識の概念学習、未知物体のシンボルグラウンディングを検証する：既に実装が済んでいるゼロショット学習により、「未知物体を入力して得られる属性ベクトルが、どのような知識グラフを形成するか、また、新たな知識を獲得するシンボルグラウンディングが可能であるかどうか」について、研究を行う。
（８）一般物体認識、機能認識を検証する：ゼロショット学習により、より実用的に近い「1000物体程度の多クラスに対して、知識グラフを組み込んだ一般物体認識が実現できるか」どうか調べる。また、本年度既に一部研究を行ったが、「機能推定の認識精度がどの程度向上するか」について検証を行う。
|
| Causes of Carryover |
初年度は、主として論文調査、プログラム開発を行った。次年度は今年度の研究成果を発表するための予算が必要となることから、繰り越しを行った。
|
