2023 Fiscal Year Annual Research Report
モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築
| Project/Area Number |
22KJ0006
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
諸戸 祐哉 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 深層学習 / 推薦システム / グラフ処理 / 時系列解析 / 感情推定 / 生体信号処理 / マルチモーダル解析 / 特徴統合 |
|---|
| Outline of Annual Research Achievements |
当該年度では，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，１．コンテンツがユーザに与え得る感情の推定モデルの構築，２．生体信号に含まれるノイズの影響を考慮可能な深層学習モデルの構築，３．視覚情報および音声情報を用いたマルチモーダルグラフ処理に基づく深層学習モデルの構築，４．生体信号を用いた非言語的コミュニケーションに基づく推薦システムの開発を行った．特に，研究4では，ユーザから得られる生体信号を用いた推薦システムを開発し，ユーザとシステムがインタラクティブに非現実的コミュニケーションを行うことで，高精度なコンテンツ推薦を実現している．本システムでは，ユーザが関心のあったコンテンツの関心度合いを可視化し，推薦結果として提示するコンテンツとの関連性を明確化することで，推薦結果に対する解釈性を向上させている．これらの研究成果として，査読付論文誌への採録が３件，査読付国際学会での発表が５件，国内会議で４件の発表を行い，その内４件が受賞に至っている.
また，研究４における推薦システムを拡張し，デジタルサイネージに適用したコンテンツ推薦システムを開発した．本システムでは，タッチパネル型のデジタルサイネージを対象とし，インタラクティブなコンテンツ推薦を行う．また，デジタルサイネージの前に複数人のユーザグループが現れた場合，各個人の興味関心を推定し，コンテンツ推薦に活用する．コンテンツはグループに対して推薦されるため，特定のユーザにおける視点では，他のユーザの興味関心が反映された推薦結果となる．そのため，一人のユーザを対象とした場合と比較して，多様性のある推薦結果が得られる．さらに，研究４と同様に，関心度合いを可視化することで，解釈性の向上を行っている．本システムは国内最大規模の国際技術展示会であるCEATEC2023において展示を行った．
|
