2018 Fiscal Year Research-status Report
知識グラフを組込んだニューラルネットワークによる物体認識―物体・意味写像の提案―
| Project/Area Number |
17K00236
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
有木 康雄 神戸大学, 都市安全研究センター, 名誉教授 (10135519)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | ゼロショット学習 / ImageNetデータセット / 意味的特徴 / 画像特徴 / 知識グラフ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では、物体の画像特徴と物体に関する知識を同時に学習させることにより、既知物体と未知物体の認識精度向上をめざす、ゼロショット学習を目的としている。これまでに実装は完了しているが精度が低いので、平成30年度はその原因解明と精度向上を行った(下記1,2)。また、ゼロショット学習を画像セグメンテーション、議論対話、知的対話に応用する研究を行った(下記3,4,5)
１．ゼロショット学習の改善：単語、テキスト文書、知識グラフという異なる意味的特徴表現がゼロショット学習の精度に与える影響について、大量のデータを用いて評価した。その結果、意味的特徴表現が適切に設計されると、従来の精度を大きく改善できることが分かった。
２．新たなベンチマークの提案：ゼロショット学習の精度が低い理由について考察した。その結果、ベンチマークとして用いていたImageNetのデータベースに、ゼロショット学習にとって致命的な欠陥があることが分かった。この欠陥をなくすために構造的バイアスを導入し、新たなベンチマークデータベースを自動構築する方法について提案した。
３．画像セグメンテーションへの応用：ゼロショット学習による物体認識を画素ごとに実行することにより、画像中に存在する未知物体を画素ごとにセグメンテーションする方法について提案した。
４．人とロボットとの議論対話への応用：人の意見に含まれる言語特徴と、その周辺に存在する知識の意味的特徴を対応付けることによって、人の意見とは逆の意見を、深層学習によって生成することができる対話ロボットについて研究した。
５．人とロボットとの知的対話への応用：ユーザー発話の発話意図を言語特徴として、深層学習により推定する。この発話意図を知識ベースに写像し、関係する文書を意味的特徴として検索する。その結果を、深層学習を用いてシステム発話として生成する研究を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30年度の計画として、下記2項目を予定していた。それぞれについて研究成果を達成している。
（１）深層学習により、画像特徴ベクトルから属性特徴ベクトルへ写像する。
ゼロショット学習により、既に当初予定の「画像からCNNによる深層学習を用いて抽出した画像特徴ベクトルと、知識グラフから抽出した属性特徴ベクトルの間で写像を実現する」ことは完了しているが、まだ精度が低いので精度向上を行う予定である。この計画に対して、研究実績の概要で述べたように、精度が低い原因解明と精度向上を行った。
（２）特徴ベクトルの抽出過程と写像過程を統合する。
深層学習を用いたゼロショット学習により、「画像から画像特徴ベクトルを抽出し、知識グラフの属性特徴ベクトルへ写像する方法」については、end-to-endで実現できている。次年度は精度向上を目指して、新しい方法を研究する予定である。この計画に対して、研究実績の概要で述べたように、ゼロショット学習を画像セグメンテーション、議論対話、知的対話に応用する研究を行った。
|
| Strategy for Future Research Activity |
平成29-30年度の成果を基に、平成31年度以降も予定通り研究を進める。
（１）画像と知識の概念学習、未知物体を含む画像セグメンテーションを研究する。
既に実装が済んでいるゼロショット学習により、「未知物体を入力して得られる属性ベクトルが、どのような知識グラフを形成するか、また、未知物体を含む画像セグメンテーションによってどのような知識が有効か」について、研究を行う。
（２）ゼロショット学習の応用として、知識融合型の対話に関する研究を進める。
深層学習を用いたゼロショット学習は応用範囲が広く、画像だけでなく、言語処理に関しても拡張可能であることが分かってきた。画像のゼロショット学習と同様、言語におけるゼロショット学習の研究を進めることで、人とロボットの円滑なコミュニケーションに関する研究に展開する。
|
| Causes of Carryover |
今年度の研究成果を発表するため経費を支出したが、次年度４月に国際会議発表があるため、繰り越しを行った。
|
