• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断

研究課題

研究課題/領域番号 22K21316
研究種目

研究活動スタート支援

配分区分基金
審査区分 1002:人間情報学、応用情報学およびその関連分野
研究機関立命館大学

研究代表者

劉 家慶  立命館大学, 情報理工学部, 助教 (20948343)

研究期間 (年度) 2022-08-31 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードマルチモダリティAI / うつ状態自動認識 / 情動データベース / 動的歩行 / マルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出 / マルチモーダル / 深層学習 / うつ状態 / 表情動画 / 音声 / マルチモダール
研究開始時の研究の概要

本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す.以下の課題解決を行う.
① 第3のモダリティとして「歩行」を導入した,より高精度な人間のうつ状態の自動認識
② 各モダリティ間の重みを学習に基づいて自動的に調整し,特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し,マルチモダリティ情報を選択的に融合する手法の確立
③ 日本の臨床機関との連携による,日本人を対象とした音声+表情画像+歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合

研究成果の概要

本研究は、表情、音声、および歩行といったマルチモーダル情報を統合することにより、うつ病の診断精度を向上させることを目的とした。特に、モダリティアテンションネットワークを活用して、各モダリティからの情報を効果的に融合し、うつ状態のより正確な認識を実現する新しい手法を提案する。この研究成果は、臨床診断の精度向上に寄与し、うつ病治療の質を高めることで社会的な影響も期待される。

研究成果の学術的意義や社会的意義

本研究は、モダリティアテンションネットワークを用いて、うつ病の正確な診断と早期発見を可能にする新しいアプローチを提案した。この方法は、複数のモダリティからの情報を統合し、診断プロセスの信頼性と精度を向上させる。この研究の成果は、医療診断技術の進展に寄与し、うつ病治療の効率化と患者の生活質の改善につながる社会的意義も持つ。

報告書

(3件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 研究成果

    (23件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (2件) 雑誌論文 (5件) (うち国際共著 3件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (16件) (うち国際学会 12件、 招待講演 2件)

  • [国際共同研究] 浙江大学/蘇州大学(中国)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] 浙江大学/蘇州大学(中国)

    • 関連する報告書
      2022 実施状況報告書
  • [雑誌論文] An Intra- and Inter-Emotion Transformer-Based Fusion Model with Homogeneous and Diverse Constraints Using Multi-Emotional Audiovisual Features for Depression Detection2024

    • 著者名/発表者名
      TENG Shiyu、LIU Jiaqing、HUANG Yue、CHAI Shurong、TATEYAMA Tomoko、HUANG Xinyin、LIN Lanfen、CHEN Yen-Wei
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D 号: 3 ページ: 342-353

    • DOI

      10.1587/transinf.2023HCP0006

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2024-03-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] A motion-aware and temporal-enhanced Spatial Temporal Graph Convolutional Network for skeleton-based human action segmentation2024

    • 著者名/発表者名
      Chai Shurong、Jain Rahul Kumar、Liu Jiaqing、Teng Shiyu、Tateyama Tomoko、Li Yinhao、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 580 ページ: 127482-127482

    • DOI

      10.1016/j.neucom.2024.127482

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Modality-invariant temporal representation learning for multimodal sentiment classification2023

    • 著者名/発表者名
      Sun Hao、Liu Jiaqing、Chen Yen-Wei、Lin Lanfen
    • 雑誌名

      Information Fusion

      巻: 91 ページ: 504-514

    • DOI

      10.1016/j.inffus.2022.10.031

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Dual Attention 機構を取り入れた時空間グラフ畳み込みネットワークによる歩行からの感情認識2022

    • 著者名/発表者名
      劉 家慶 , 木下 将児 , 柴 樹榕 , 健山 智子 , 岩本 祐太郎 , 陳 延偉
    • 雑誌名

      画像電子学会誌

      巻: 51 ページ: 309-317

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [雑誌論文] A multi-head pseudo nodes based spatial?temporal graph convolutional network for emotion perception from GAIT2022

    • 著者名/発表者名
      Chai Shurong、Liu Jiaqing、Jain Rahul Kumar、Tateyama Tomoko、Iwamoto Yutaro、Lin Lanfen、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 511 ページ: 437-447

    • DOI

      10.1016/j.neucom.2022.09.061

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Multi-Modal and Multi-Task Depression Detection with Sentiment Assistance2024

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE))
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Skeleton-Based Dynamic Hand Gesture Datasets: Recognition and Baseline Evaluation for Deep Learning2024

    • 著者名/発表者名
      Masaya Okano, Jiaqing Liu Tomoko Tateyama Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using Point Cloud Deep Learning with Local Area Attention2024

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics(IEEE ICCE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using PointNet++ with Data Augmentation Based on Farthest Point Sampling2023

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Two-stream Graph Convolutional Networks with Task-specific Loss for Dual-task Gait Analysis2023

    • 著者名/発表者名
      Jiaqing Liu, Shuqiong Wu, Fumio Okura, Yasushi Makihara, Yasushi Yagi
    • 学会等名
      the 45th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC’23)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Intelligent UAS-Edge-Server Collaboration and Orchestration in Disaster Response Management2023

    • 著者名/発表者名
      Chengyi Qu, Chaise Ballotti, Daniel De Sousa, Jiaqing Liu
    • 学会等名
      31th IEEE International Conference on Enabling Technologies(WETICE-2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] An Intra- and Inter-Emotion Transformer-based Fusion Model with Homogeneous and Diverse Constraints Using Multi-emotional Audiovisual Features for Depression Detection2023

    • 著者名/発表者名
      Shiyu Teng, Jiaqing Liu, Shurong Chai,Tomoko Tateyama, Xinyin Huang, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      第26回 画像の認識・理解シンポジウム (MIRU2023)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Multimodal Deep Learning in Depression Estimation2023

    • 著者名/発表者名
      Jiaqing LIU
    • 学会等名
      2023 5th International Conference on Intelligent Medicine and Image Processing (IMIP 2023)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] A Spatial-Temporal Graph Convolutional Networks-based Approach for the OpenPack Challenge 20222023

    • 著者名/発表者名
      Shurong Chai, Jiaqing Liu, Rahul Kumar Jain, Yinhao Li, Tateyama Tomoko , Yen-Wei Chen
    • 学会等名
      2nd International Workshop on Behavior analysis and Recognition for knowledge Discovery (BiRD 2023)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Multimodal Deep Learning in Healthcare2022

    • 著者名/発表者名
      Jiaqing LIU
    • 学会等名
      International Symposium on Advanced Technologies and Applications in the Internet of Things
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Accurate Hand Gesture Recognition Using Color and Depth Images with Modality-invariant Fusion2022

    • 著者名/発表者名
      Masaya Okano, Jiaqing Liu, Tomoko Tateyama, Yutaro Iwamoto, Yen-Wei Chen
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A Transformer-based Multimodal Network for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Xinyin Huang, Yen-Wei Chen
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] CubeMLP: A MLP-based Model for Multimodal Sentiment Analysis and Depression Estimation2022

    • 著者名/発表者名
      Hao Sun, Hongyi Wang, Jiaqing Liu, Yen-Wei Chen, Lanfen Lin,
    • 学会等名
      n Proceedings of the 30th ACM International Conference on Multimedia (MM’22)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] A Module Selection-based Approach for Efficient Skeleton Human Action Recognition2022

    • 著者名/発表者名
      Shurong Chai, Rahul Kumar Jain, Jiaqing Liu, Tomoko Tateyama, Yinhao Li, Yen-Wei Chen
    • 学会等名
      パターン認識・メディア理解研究会 (PRMU)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] A transformer based feature-level fusion approach for Audiovisual Depression Prediction2022

    • 著者名/発表者名
      Shiyu Teng, Shurong Chai, Jiaqing Liu, Tateyama Tomoko, Xinyin Huang, Yen-Wei Chen,
    • 学会等名
      パターン認識・メディア理解研究会 (PRMU)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] pointnet++に基づく 遺伝子関連研究に向けた3次元顔面形態認識2022

    • 著者名/発表者名
      岡田 一真,寺田 卓馬, 劉 家慶, 健山 智子,木村 亮介, 陳 延偉
    • 学会等名
      映像情報メディア学会
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-09-01   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi