| Project/Area Number |
22KJ0006
|
|---|
| Project/Area Number (Other) |
21J20033 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
諸戸 祐哉 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 深層学習 / 推薦システム / グラフ処理 / 時系列解析 / 感情推定 / 生体信号処理 / マルチモーダル解析 / 特徴統合 / グラフ解析 / マルチメディアコンテンツ / 時系列データ分析 / 注視領域推定 / 生成モデル / 相関分析 / 生体情報処理 |
|---|
| Outline of Research at the Start |
本研究では，映像に対する関心の時間変化に基づいた，高い多様性・解釈性を有する映像推薦技術の実現を目標とする．具体的に，映像を表現する特徴量，映像視聴時のユーザから取得した視線・視聴動作・脳活動情報等の生体信号およびユーザの関心度の間の関係性を分析するための，時間変化を考慮可能な深層相関分析理論を構築する．さらに，得られた関連性に基づいて，映像の時間変化を考慮した映像特徴量の導出と関心度推定を実現する．また，構築した映像推薦手法に対して，多様性および解釈性を与えるためのメカニズムを導入する．最終的に，本研究で提案する映像推薦手法を用いた実験を行うことで，有効性の検証を行う．
|
| Outline of Annual Research Achievements |
当該年度では，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，１．コンテンツがユーザに与え得る感情の推定モデルの構築，２．生体信号に含まれるノイズの影響を考慮可能な深層学習モデルの構築，３．視覚情報および音声情報を用いたマルチモーダルグラフ処理に基づく深層学習モデルの構築，４．生体信号を用いた非言語的コミュニケーションに基づく推薦システムの開発を行った．特に，研究4では，ユーザから得られる生体信号を用いた推薦システムを開発し，ユーザとシステムがインタラクティブに非現実的コミュニケーションを行うことで，高精度なコンテンツ推薦を実現している．本システムでは，ユーザが関心のあったコンテンツの関心度合いを可視化し，推薦結果として提示するコンテンツとの関連性を明確化することで，推薦結果に対する解釈性を向上させている．これらの研究成果として，査読付論文誌への採録が３件，査読付国際学会での発表が５件，国内会議で４件の発表を行い，その内４件が受賞に至っている.
また，研究４における推薦システムを拡張し，デジタルサイネージに適用したコンテンツ推薦システムを開発した．本システムでは，タッチパネル型のデジタルサイネージを対象とし，インタラクティブなコンテンツ推薦を行う．また，デジタルサイネージの前に複数人のユーザグループが現れた場合，各個人の興味関心を推定し，コンテンツ推薦に活用する．コンテンツはグループに対して推薦されるため，特定のユーザにおける視点では，他のユーザの興味関心が反映された推薦結果となる．そのため，一人のユーザを対象とした場合と比較して，多様性のある推薦結果が得られる．さらに，研究４と同様に，関心度合いを可視化することで，解釈性の向上を行っている．本システムは国内最大規模の国際技術展示会であるCEATEC2023において展示を行った．
|
