2019 Fiscal Year Annual Research Report
次世代高精度検索を実現するスーパーマルチモーダル人間情報解析基盤
| Project/Area Number |
17H01744
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
長谷山 美紀 北海道大学, 情報科学研究院, 教授 (00218463)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 翔 北海道大学, 工学研究院, 准教授 (00708018)
小川 貴弘 北海道大学, 情報科学研究院, 准教授 (20524028)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 画像 / 機械学習 / 人工知能 / マルチモーダル解析 |
|---|
| Outline of Annual Research Achievements |
本研究では、センサーデータを利用することで、ユーザの興味を正確に推定可能な次世代高精度検索を目指し、それを実現するためのスーパーマルチモーダル人間情報解析基盤を実現する。本基盤によって、検索対象となるマルチメディアコンテンツに留まらず、ユーザの行動履歴や取り巻く多様なセンサーのデータを統合的に解析可能とし、従来の興味の推定精度の限界を超える次世代高精度検索を実現した。具体的に、次の4技術で構築した。
技術1 ユーザを取り巻くセンサーを用いて興味推定を行う多種類センサーデータ統合解析技術
技術2 異なる種類のデータの関連性をグラフ化し、興味推定を高精度化する超グラフ解析技術
技術3 データの時間的変化を考慮して技術2の興味推定を高精度化する動的超グラフ解析技術
技術4 技術1～3により得られるユーザの興味推定結果に基づき、SNS等の異なる情報源からコンテンツの提示を可能とする異種情報源データ検索技術(実施中)
以上の研究において、特筆すべき実績を以下で説明する。本研究では、異種モダリティ間の関連性を表現可能な画像生成モデル・キャプショニングモデルを構築し、与えられるクエリの種類に依存しない検索手法を実現した。具体的に、敵対的画像生成ネットワークを中心とする最新の深層学習に基づくモデルを導入することで、ユーザの興味を正確にとらえたコンテンツの生成を可能とし、最新の画像検索手法と比較して高精度な検索結果の提示が可能となっている。これらの理論は、実際にシステムとして構築され、例えば、ユーザからより自由度の高いテキストの文章をクエリとして与えられた際にも正確にマルチメディアコンテンツを検索することが可能になることが明らかとなっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
以下に示す令和元年度の研究実施計画を達成しただけではなく、「6、研究実績の概要」に示した技術4にも先行着手している。
【令和元年度の研究実施計画：データの時間的変化を考慮して興味推定を高精度化する動的超グラフ解析技術の開発】
前年度までに、マルチメディアデータとセンサーデータを同一の特徴空間で互いに比較可能とする超グラフの構築が実現されている。令和元年度は、ユーザの興味が時間的に変化していく性質を表現するため、超グラフの成長モデルを構築した。この際、個々のコンテンツやユーザの動的性質のみならず、コミュニティの相互作用の時間的変化も表現可能とする新たなモデルを実現した。得られるモデルに基づき、動的グラフ解析法とsocial force model等の群集解析法を融合した新たな手法を導出することで、各ユーザに対して現在の興味がより高精度に推定可能になることを明らかにした。このとき、被験者実験の際に必要となる各ユーザの時系列データとして、前年度から開発を進めている可視化インタフェースに蓄積される、各ユーザの行動履歴やセンサーデータを利用した。
|
| Strategy for Future Research Activity |
【興味に合致したコンテンツを獲得する異種情報源データ検索技術の開発】
Wikipedia、Twitter、Flickr等の異種情報源に散在するコンテンツを提示することで、高精度な検索を可能とする技術を構築する。具体的に、トピックモデル[1]とMultiview learning [2]に基づく新たなドメイン適応手法を導出し、異種情報源に散在するユーザの興味に合致したコンテンツを横断的に検索可能とする新技術を実現する。
前年度までの研究および上記の研究の遂行により、各ユーザの興味に基づくコンテンツ検索が実現される。主に物体認識に基づく従来の検索では、全てのユーザに同一の検索結果が提示されるのに対し、本研究の提案する検索は、各ユーザの興味に合致したコンテンツを適応的に提示可能とする次世代高精度検索である。
[1] Y. Fu, T. M. Hospedales, T. Xiang, and S. Gong, “Learning multimodal latent attributes,” IEEE Transactions on Pattern Analysis and Machine Intelligence,vol. 36, no. 2, pp. 303-316, 2013.
[2] S. Sun, “A survey of multi-view machine learning,” Neural computing and applications, vol. 23,no. 7, pp. 2031-2038, 2013.
|
