2022 Fiscal Year Annual Research Report
モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築
| Project/Area Number |
21J20033
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
諸戸 祐哉 北海道大学, 情報科学院, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 深層学習 / グラフ解析 / マルチメディアコンテンツ / 時系列データ分析 / 注視領域推定 / 生体信号処理 / 特徴統合 / 生成モデル |
|---|
| Outline of Annual Research Achievements |
当該年度では，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，1. 生体信号特有のデータ性質を考慮可能な深層学習モデルの構築，2. コンテンツが与える印象の推定，3. 時系列データを対象としたグラフ解析に関する研究を実施した．具体的に，研究1では，時系列性を考慮可能な確率的生成モデルを新たに構築することで，生体信号特有のデータ性質を考慮可能とした．研究2では，コンテンツが与える視覚刺激を対象として，多くの人間が想起し得る印象を推定する深層学習モデルの構築を行った．最後に，研究3では，グラフニューラルネットワークに基づく深層学習モデルに対して時間変化を考慮可能な機構を導入することで，時系列データを対象としたグラフ解析を実現した．
さらに，次年度に実施予定であった，ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究を先行着手している．具体的には，コンテンツ視聴時のユーザの視線データを用いることで，未視聴のコンテンツに対してユーザが注視するであろう領域を推定する深層学習モデルの構築を実施した．本研究成果は査読付き国際会議にて発表を行っている．
一方で，当初の予定では，実際にコンテンツ推薦を行うことで，その推薦結果に対する評価を行う予定であった．しかし，生体信号が取得できていないユーザに対しても関心を反映したコンテンツ推薦を行うためには，コンテンツがユーザに与える印象から，ユーザの内部状態を表現する必要性が，新たに明らかとなった．そのため，当該年度では，上述の研究3において，コンテンツが与える印象を推定する深層学習モデルの構築を行った．
当該年度における研究成果として，査読付き論文誌への採録が1件，査読付き国際学会における発表が5件，査読なし国内会議での発表が4件，受賞が1件という優れた成果を挙げている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度では，令和4年度に実施予定であった，ユーザの関心を反映したマルチメディアコンテンツ（以降，コンテンツ）の推薦システムの実現に向けて，要素技術の研究に取り組んだ．本研究成果は，信号処理分野において最難関の国際会議の1つであるIEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2022にて1件，画像処理分野において最難関の国際会議の1つであるIEEE International Conference on Image Processing (ICIP) 2022にて1件，コンシューマエレクトロニクスの分野においてフラグシップカンファレンスであるIEEE Global Conference on Consumer Electronics (GCCE) 2022にて1件の発表を行っている．
また，令和5年度に実施予定であった，ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究に先行着手した．ユーザの注視傾向を解析し，コンテンツの意味内容との関係性を明らかにすることで，コンテンツの推薦結果に対して解釈性を与える可能性を示唆した．本研究成果はICIP2022にて発表を行った．
一方，当初の予定では，実際にコンテンツ推薦を行うことで，その推薦結果に対する評価を行う予定であった．しかし，推薦システム構築時に新たな課題を発見したため，当該年度では，この課題解決を行うための研究を実施した．
以上より，要素技術の実現や新たな課題を解決するための研究を実施できた点および多数の研究業績を創出した点から，本区分を選択した．
|
| Strategy for Future Research Activity |
今後の研究の推進方策として，令和4年度に構築した要素技術を導入したマルチメディアコンテンツ（以降，コンテンツ）推薦システムを構築する予定である．得られた推薦結果を用いた被験者実験を行うことで，構築した推薦システムの有効性を検証する予定である．また，ユーザが注視すると予想される領域の推定モデルを適用することで，推薦結果に対して解釈性を与える機構を実現する予定である．得られた研究成果を査読付きの国際会議や国際論文誌に投稿する予定である．
以上より，令和3年度より実施してきた3年度分の研究成果を統合した，多様性と解釈性を備えたコンテンツ推薦技術を構築する．本研究成果を博士論文としてまとめることで，学位取得を目指す．
|
