2020 Fiscal Year Annual Research Report
次世代高精度検索を実現するスーパーマルチモーダル人間情報解析基盤
| Project/Area Number |
17H01744
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
長谷山 美紀 北海道大学, 情報科学研究院, 教授 (00218463)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高橋 翔 北海道大学, 工学研究院, 准教授 (00708018)
小川 貴弘 北海道大学, 情報科学研究院, 准教授 (20524028)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 画像 / 機械学習 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
本研究では、センサーデータを利用することで、ユーザの興味を正確に推定可能な次世代高精度検索を目指し、それを実現するためのスーパーマルチモーダル人間情報解析基盤を実現している。本基盤によって、検索対象となるマルチメディアコンテンツに留まらず、ユーザの行動履歴や取り巻く多様なセンサーのデータを統合的に解析可能とし、従来の興味の推定精度の限界を超える次世代高精度検索を実現している。具体的に、本研究では、「技術1：ユーザを取り巻くセンサーを用いて興味推定を行う多種類センサーデータ統合解析技術」・「技術2：異なる種類のデータの関連性をグラフ化し、興味推定を高精度化する超グラフ解析技術」・「技術3：データの時間的変化を考慮して技術２の興味推定を高精度化する動的超グラフ解析技術」・「技術4：技術1～3により得られるユーザの興味推定結果に基づき、SNS等の異なる情報源からコンテンツの提示を可能とする異種情報源データ検索技術」の4つの技術を構築している。
これまでマルチメディアデータ解析とセンターデータ解析は、異なる研究分野として発展してきているのに対し、マルチメディアデータとセンサーデータという極めて異質なデータを融合的に解析し、さらには複数のユーザ、異種情報源を横断的に解析可能とする点は、本研究の学術的な特色であり、独創的な点である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
【令和2年度の研究実施計画：興味に合致したコンテンツを獲得する異種情報源データ検索技術の開発】
Wikipedia、Twitter、Flickr等の異種情報源に散在するコンテンツを提示することで、高精度な検索を可能とする技術を構築した。具体的に、トピックモデルとMultiview learningに基づく新たなドメイン適応手法を導出し、異種情報源に散在するユーザの興味に合致したコンテンツを横断的に検索可能とする新技術を実現した。【フェーズ1】～【フェーズ4】（※1）の研究の遂行により、各ユーザの興味に基づくコンテンツ検索が実現された。主に物体認識に基づく従来の検索では、全てのユーザに同一の検索結果が提示されるのに対し、本研究で提案する検索は、各ユーザの興味に合致したコンテンツを適応的に提示可能とする次世代高精度検索技術として実現された。本年度は、次年度に実施する実証実験においても既に着手を始めており、当初の計画以上に研究が進展している。
（※1）【フェーズ1】ユーザの興味推定を可能とする多種類センサーデータ統合解析技術の開発・【フェーズ2】異種データの関連性に基づき興味推定を高精度化する超グラフ解析技術の開発・【フェーズ3】データの時間的変化を考慮して興味推定を高精度化する動的超グラフ解析技術の開発・【フェーズ4】興味に合致したコンテンツを獲得する異種情報源データ検索技術の開発
|
| Strategy for Future Research Activity |
【フェーズ5】実証実験 － 実現された技術の有効性の確認
提案技術の実用化を見据えて、観光客に対する情報検索サービスの提供を目的とした実証実験を行う。本実証実験では、観光客を対象とするため、接触型センサーによるデータの取得が困難な可能性がある。そこで、非接触型センサーから得られたデータとマルチメディアデータを用いて、類似ユーザを検出することで、【フェーズ1】～【フェーズ4】と同一の枠組みで、興味の推定と検索を可能とする。さらに、本実証実験では、ユーザの注視等の興味を表す行動に基づき、検索結果に対するフィードバックを取得し、ユーザの興味推定とコンテンツ検索精度向上の枠組みを実現する。以上の実証実験の実施により、スーパーマルチモーダル人間情報解析基盤の有効性を明らかにする。以上に示す【フェーズ5】において実証実験を行う際、必要なデータや実証施設の提供といった研究協力が不可欠であるが、応募者は過去に札幌市や国立科学博物館との実証実験を行った経験を有しており、既に強力な連携体制が整っている。
本研究を【フェーズ1】から【フェーズ5】まで実施することにより、ユーザの興味に合致したコンテンツやユーザの横断的検索が可能となり、スーパーマルチモーダル人間情報解析基盤が検索のみならず、推薦、広告提示、オピニオンマイニング等、人間が関与する様々な研究領域に広く応用可能であることが明らかになる。
|
