Super-MultiModal Human Analysis Platform for Next Generation of Advanced Retrieval

2021 Fiscal Year Final Research Report

• Project/Area Number: 17H01744
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Multimedia database
• Research Institution: Hokkaido University
• Principal Investigator: Haseyama Miki 北海道大学, 情報科学研究院, 教授 (00218463)
• Co-Investigator(Kenkyū-buntansha): 高橋 翔 北海道大学, 工学研究院, 准教授 (00708018) ; 小川 貴弘 北海道大学, 情報科学研究院, 准教授 (20524028) ; 畠山 泰貴 広島市立大学, 情報科学研究科, 助教 (10786370)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: マルチメディア解析 / 深層学習 / IoT / 生体情報 / マルチモーダル / 映像解析 / 検索 / 推薦

Outline of Final Research Achievements

We constructed a super-multimodal human analysis infrastructure to realize the next-generation retrieval technology that can accurately estimate users’ interests through sensory data. In this research, we have succeeded in constructing the fundamental technology that was the goal of our research, and conducted demonstration experiments to verify the effectiveness of our technology. Specifically, we constructed an information retrieval and recommendation system based on the super-multimodal human analysis platform and verified the effectiveness of the technology for tourists in the digital signage space in Sapporo City. In summary, this research has contributed to the formation of fundamental technology in the field of multimedia search and recommendation by establishing a super-multimodal human analysis infrastructure and demonstrating its effectiveness.

Free Research Field

信号処理

Academic Significance and Societal Importance of the Research Achievements

これまでマルチメディアデータ解析とセンターデータ解析は、異なる研究分野として発展してきた。これに対し、マルチメディアデータとセンサーデータという極めて異質なデータを融合的に解析し、さらには複数のユーザ、異種情報源を横断的に解析可能とする点が、本研究の独創的な点である。本研究成果によって、ユーザの興味に合致したコンテンツやユーザの横断的検索が可能となった。加えて、本研究成果はスーパーマルチモーダル人間情報解析基盤は検索のみならず、推薦、広告提示、オピニオンマイニングなど、人間が関与する様々な研究領域に広く応用可能であることから、幅広い分野に対して貢献可能な技術である。