• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断

研究課題

研究課題/領域番号 22K21316
研究機関立命館大学

研究代表者

劉 家慶  立命館大学, 情報理工学部, 助教 (20948343)

研究期間 (年度) 2022-08-31 – 2024-03-31
キーワードマルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出
研究実績の概要

現代社会において、ストレスの多さはうつ病という深刻な社会問題を引き起こしており、正確な診断に基づく「うつ状態」の早期発見がますます重要になっています。一般的な問診に加えて、患者の表情や音声など複数の観測情報(モダリティ)を利用したうつ病診断が国内外で行われています。本研究では、従来の表情と音声に加え、新たなモダリティである「歩行」を組み込んだマルチモダリティ情報を基に、AIを活用した診断支援システムの開発に成功しました。
従来の手法では、表情と音声から抽出された特徴を単一のベクトルで表現してうつ状態を認識していましたが、これではモダリティ間の相互関係が十分に表現されず、診断の精度が不十分であるという問題がありました。この問題を解決するために、「モダリティアテンション機構」という新しい深層学習手法を提案しました。この手法は、モダリティ間の重要性を自動的に学習し、特徴を選択的に融合することで、うつ状態の推定精度を大幅に向上させました。
これらの研究成果は、国内外の著名な学術誌や国際学会で広く発表されています。具体的には、「Information Fusion」、「Neurocomputing」、「IEICE」の学術誌や、「PerCom」、「IEEE EMBC」、「IEEE ICCE」、「IEEE GCCE」などの国際学会での発表を通じて、研究の効果と革新性が高く評価されました。

  • 研究成果

    (11件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち国際共著 2件、 査読あり 3件) 学会発表 (7件) (うち国際学会 6件)

  • [国際共同研究] 浙江大学/蘇州大学(中国)

    • 国名
      中国
    • 外国機関名
      浙江大学/蘇州大学
  • [雑誌論文] An Intra- and Inter-Emotion Transformer-Based Fusion Model with Homogeneous and Diverse Constraints Using Multi-Emotional Audiovisual Features for Depression Detection2024

    • 著者名/発表者名
      TENG Shiyu、LIU Jiaqing、HUANG Yue、CHAI Shurong、TATEYAMA Tomoko、HUANG Xinyin、LIN Lanfen、CHEN Yen-Wei
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D ページ: 342~353

    • DOI

      10.1587/transinf.2023HCP0006

    • 査読あり / 国際共著
  • [雑誌論文] A motion-aware and temporal-enhanced Spatial?Temporal Graph Convolutional Network for skeleton-based human action segmentation2024

    • 著者名/発表者名
      Chai Shurong、Jain Rahul Kumar、Liu Jiaqing、Teng Shiyu、Tateyama Tomoko、Li Yinhao、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 580 ページ: 127482~127482

    • DOI

      10.1016/j.neucom.2024.127482

    • 査読あり
  • [雑誌論文] Modality-invariant temporal representation learning for multimodal sentiment classification2023

    • 著者名/発表者名
      Sun Hao、Liu Jiaqing、Chen Yen-Wei、Lin Lanfen
    • 雑誌名

      Information Fusion

      巻: 91 ページ: 504~514

    • DOI

      10.1016/j.inffus.2022.10.031

    • 査読あり / 国際共著
  • [学会発表] Multi-Modal and Multi-Task Depression Detection with Sentiment Assistance2024

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE))
    • 国際学会
  • [学会発表] Skeleton-Based Dynamic Hand Gesture Datasets: Recognition and Baseline Evaluation for Deep Learning2024

    • 著者名/発表者名
      Masaya Okano, Jiaqing Liu Tomoko Tateyama Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE)
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using Point Cloud Deep Learning with Local Area Attention2024

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE)
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using PointNet++ with Data Augmentation Based on Farthest Point Sampling2023

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Two-stream Graph Convolutional Networks with Task-specific Loss for Dual-task Gait Analysis2023

    • 著者名/発表者名
      Jiaqing Liu, Shuqiong Wu, Fumio Okura, Yasushi Makihara, Yasushi Yagi
    • 学会等名
      the 45th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC’23)
    • 国際学会
  • [学会発表] Intelligent UAS-Edge-Server Collaboration and Orchestration in Disaster Response Management2023

    • 著者名/発表者名
      Chengyi Qu, Chaise Ballotti, Daniel De Sousa, Jiaqing Liu
    • 学会等名
      31th IEEE International Conference on Enabling Technologies(WETICE-2023)
    • 国際学会
  • [学会発表] An Intra- and Inter-Emotion Transformer-based Fusion Model with Homogeneous and Diverse Constraints Using Multi-emotional Audiovisual Features for Depression Detection2023

    • 著者名/発表者名
      Shiyu Teng, Jiaqing Liu, Shurong Chai,Tomoko Tateyama, Xinyin Huang, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      第26回 画像の認識・理解シンポジウム (MIRU2023)

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi