• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

モダリティ融合解析に基づく多様性と解釈性を備えた映像推薦技術の構築

研究課題

研究課題/領域番号 21J20033
配分区分補助金
研究機関北海道大学

研究代表者

諸戸 祐哉  北海道大学, 情報科学院, 特別研究員(DC1)

研究期間 (年度) 2021-04-28 – 2024-03-31
キーワード深層学習 / グラフ解析 / マルチメディアコンテンツ / 時系列データ分析 / 注視領域推定 / 生体信号処理 / 特徴統合 / 生成モデル
研究実績の概要

当該年度では,ユーザの関心を反映したマルチメディアコンテンツ(以降,コンテンツ)の推薦システムの実現に向けて,1. 生体信号特有のデータ性質を考慮可能な深層学習モデルの構築,2. コンテンツが与える印象の推定,3. 時系列データを対象としたグラフ解析に関する研究を実施した.具体的に,研究1では,時系列性を考慮可能な確率的生成モデルを新たに構築することで,生体信号特有のデータ性質を考慮可能とした.研究2では,コンテンツが与える視覚刺激を対象として,多くの人間が想起し得る印象を推定する深層学習モデルの構築を行った.最後に,研究3では,グラフニューラルネットワークに基づく深層学習モデルに対して時間変化を考慮可能な機構を導入することで,時系列データを対象としたグラフ解析を実現した.
さらに,次年度に実施予定であった,ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究を先行着手している.具体的には,コンテンツ視聴時のユーザの視線データを用いることで,未視聴のコンテンツに対してユーザが注視するであろう領域を推定する深層学習モデルの構築を実施した.本研究成果は査読付き国際会議にて発表を行っている.
一方で,当初の予定では,実際にコンテンツ推薦を行うことで,その推薦結果に対する評価を行う予定であった.しかし,生体信号が取得できていないユーザに対しても関心を反映したコンテンツ推薦を行うためには,コンテンツがユーザに与える印象から,ユーザの内部状態を表現する必要性が,新たに明らかとなった.そのため,当該年度では,上述の研究3において,コンテンツが与える印象を推定する深層学習モデルの構築を行った.
当該年度における研究成果として,査読付き論文誌への採録が1件,査読付き国際学会における発表が5件,査読なし国内会議での発表が4件,受賞が1件という優れた成果を挙げている.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当該年度では,令和4年度に実施予定であった,ユーザの関心を反映したマルチメディアコンテンツ(以降,コンテンツ)の推薦システムの実現に向けて,要素技術の研究に取り組んだ.本研究成果は,信号処理分野において最難関の国際会議の1つであるIEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2022にて1件,画像処理分野において最難関の国際会議の1つであるIEEE International Conference on Image Processing (ICIP) 2022にて1件,コンシューマエレクトロニクスの分野においてフラグシップカンファレンスであるIEEE Global Conference on Consumer Electronics (GCCE) 2022にて1件の発表を行っている.
また,令和5年度に実施予定であった,ユーザが注視すると予想されるコンテンツ中の領域推定に関する研究に先行着手した.ユーザの注視傾向を解析し,コンテンツの意味内容との関係性を明らかにすることで,コンテンツの推薦結果に対して解釈性を与える可能性を示唆した.本研究成果はICIP2022にて発表を行った.
一方,当初の予定では,実際にコンテンツ推薦を行うことで,その推薦結果に対する評価を行う予定であった.しかし,推薦システム構築時に新たな課題を発見したため,当該年度では,この課題解決を行うための研究を実施した.
以上より,要素技術の実現や新たな課題を解決するための研究を実施できた点および多数の研究業績を創出した点から,本区分を選択した.

今後の研究の推進方策

今後の研究の推進方策として,令和4年度に構築した要素技術を導入したマルチメディアコンテンツ(以降,コンテンツ)推薦システムを構築する予定である.得られた推薦結果を用いた被験者実験を行うことで,構築した推薦システムの有効性を検証する予定である.また,ユーザが注視すると予想される領域の推定モデルを適用することで,推薦結果に対して解釈性を与える機構を実現する予定である.得られた研究成果を査読付きの国際会議や国際論文誌に投稿する予定である.
以上より,令和3年度より実施してきた3年度分の研究成果を統合した,多様性と解釈性を備えたコンテンツ推薦技術を構築する.本研究成果を博士論文としてまとめることで,学位取得を目指す.

  • 研究成果

    (11件)

すべて 2023 2022 その他

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (9件) (うち国際学会 5件) 備考 (1件)

  • [雑誌論文] テキストおよび画像情報に基づくFocal Lossを導入した深層学習による冬期路面状態の分類2022

    • 著者名/発表者名
      諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
    • 雑誌名

      AI・データサイエンス論文集

      巻: 3 ページ: 293-306

    • DOI

      10.11532/jsceiii.3.J2_293

    • 査読あり / オープンアクセス
  • [学会発表] サッカー映像における時空間的関係を考慮したシュート予測の高精度化に関する検討 ~競技者のチーム情報に基づく完全二部グラフの導入~2023

    • 著者名/発表者名
      五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • 学会等名
      映像情報メディア学会技術報告
  • [学会発表] Affective Embedding Framework with Semantic Representations from Tweets for Zero-shot Visual Sentiment Prediction2022

    • 著者名/発表者名
      Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      ACM Multimedia Asia
    • 国際学会
  • [学会発表] Shoot Event Prediction From Soccer Videos by Considering Players’ Spatio-Temporal Relations2022

    • 著者名/発表者名
      Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      IEEE Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Visual Sentiment Prediction Using Cross-way Few-Shot Learning Based on Knowledge Distillation2022

    • 著者名/発表者名
      Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      IEEE International Conference on Image Processing
    • 国際学会
  • [学会発表] Few-shot Personalized Saliency Prediction with Similarity of gaze Tendency Using Object-based Structual Information2022

    • 著者名/発表者名
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      IEEE International Conference on Image Processing
    • 国際学会
  • [学会発表] Human Emotion Recognition Using Multi-Modal Biological Signals Based on Time Lag-Considered Correlation Maximization2022

    • 著者名/発表者名
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      IEEE International Conference on Acoustics, Speech and Signal Processing
    • 国際学会
  • [学会発表] テキストおよび画像情報に基づくFocal Lossを導入した深層学習による冬期路面状態の分類2022

    • 著者名/発表者名
      諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
    • 学会等名
      第3回 AI・データサイエンスシンポジウム
  • [学会発表] サッカー競技のスカウティング映像における選手間の時空間的関係を考慮した不確実性に基づくシュートイベント予測に関する検討2022

    • 著者名/発表者名
      五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀
    • 学会等名
      令和4年度電気・情報関係学会北海道支部連合大会
  • [学会発表] Few-shot Personalized Saliency Prediction via Person Similarity Using Tensor-based Regression2022

    • 著者名/発表者名
      Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama
    • 学会等名
      第25回 画像の認識・理解シンポジウム
  • [備考] メディアダイナミクス研究室ホームページ

    • URL

      https://www-lmd.ist.hokudai.ac.jp/member/yuya-moroto/

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi