• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダルAIを用いた高精度なうつ病診断診断支援

研究課題

研究課題/領域番号 23K16909
研究種目

若手研究

配分区分基金
審査区分 小区分61010:知覚情報処理関連
研究機関立命館大学

研究代表者

劉 家慶  立命館大学, 情報理工学部, 助教 (20948343)

研究期間 (年度) 2023-04-01 – 2026-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2025年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワードマルチモーダル / 共通特徴 / 固有特徴 / 類似性制約 / うつ状態 / 深層学習 / 情動データベース
研究開始時の研究の概要

ストレスが多い現在社会におけるうつ病診療は国内外における深刻な社会問題でもあり、高精度な診断に基づく「うつ状態」の早期発見が重要である。一般的な問診だけでなく、患者の表情、音声、テキストなど複数の観測情報(モダリティ)に基づく「うつ病診断」が現在、国内外で取り組まれている。本研究では、各モダリティを多変量ガウス分布として扱うことで、KLダイバージェンスに基づいて全モダリティ共有する成分を獲得する手法を確立する。 異なるモダリティ間で互いに冗長性があり、全モダリティ共有する成分以外も、さらに、各モダリティの固有成分を獲得する手法を確立し、効率かつ最適なアプローチを目指す。

研究実績の概要

現代社会においてストレスが多い環境はうつ病診療の課題を拡大させ、これは国内外での深刻な社会問題となっている。このような状況下でうつ状態の早期発見と高精度な診断が重要であるが、これまでの研究では各モダリティを入力としたニューラルネットワークを用いてうつ病の検出精度の向上を試みていた。しかし、これまでのアプローチではモダリティ間の相補性を十分に活用していなかったため、うつ病の重症度推定と正解ラベルとの一致率は約0.6にとどまっていた。
本研究では、各モダリティの特性を全モダリティに共通する特徴とモダリティ固有の特徴に分解する新しい方法を提案する。この方法には、正規分布間のKLダイバージェンスを使用して、より細かな類似性制約を導入し、特徴の抽出と統合の精度を向上させることが確立される。以下の成果が得られた:
1.モダリティ間およびモダリティ内の特徴抽出法を提案し、モダリティ間の共起を考慮した重要な特徴領域を特定することができた。
2.Information Fusion、Neurocomputing、IEICE、IEEE EMBC、IEEE ICCEなど、トップ学術誌及び国際学会で発表してきた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

計画通りに以下の成果が得られた。
1)ダリティ間(inter-modality)およびモダリティ内(intra-modality)の特徴抽出法を提案し、高精度なうつ状態の推定することができた。
2)Information Fusion、Neurocomputing、IEICE、IEEE EMBC、IEEE ICCEなど、トップ学術誌及び国際学会で発表してきた。

今後の研究の推進方策

1)各モダリティを多変量ガウス分布として扱いことで,KLダイバージェンスに基づいて全モダリティ共有する成分を獲得手法を開発する。
2)異なるモダリティ間で互いに冗長性があり,全モダリティ共有する成分以外も,さらに各モダリティの固有成分を獲得手法を開発する。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (10件)

すべて 2024 2023 その他

すべて 国際共同研究 (1件) 雑誌論文 (3件) (うち国際共著 2件、 査読あり 3件) 学会発表 (6件) (うち国際学会 5件)

  • [国際共同研究] 浙江大学計算機学院(中国)

    • 関連する報告書
      2023 実施状況報告書
  • [雑誌論文] An Intra- and Inter-Emotion Transformer-Based Fusion Model with Homogeneous and Diverse Constraints Using Multi-Emotional Audiovisual Features for Depression Detection2024

    • 著者名/発表者名
      TENG Shiyu、LIU Jiaqing、HUANG Yue、CHAI Shurong、TATEYAMA Tomoko、HUANG Xinyin、LIN Lanfen、CHEN Yen-Wei
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E107.D 号: 3 ページ: 342-353

    • DOI

      10.1587/transinf.2023HCP0006

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2024-03-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A motion-aware and temporal-enhanced Spatial Temporal Graph Convolutional Network for skeleton-based human action segmentation2024

    • 著者名/発表者名
      Chai Shurong、Jain Rahul Kumar、Liu Jiaqing、Teng Shiyu、Tateyama Tomoko、Li Yinhao、Chen Yen-Wei
    • 雑誌名

      Neurocomputing

      巻: 580 ページ: 127482-127482

    • DOI

      10.1016/j.neucom.2024.127482

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Modality-invariant temporal representation learning for multimodal sentiment classification2023

    • 著者名/発表者名
      Sun Hao、Liu Jiaqing、Chen Yen-Wei、Lin Lanfen
    • 雑誌名

      Information Fusion

      巻: 91 ページ: 504-514

    • DOI

      10.1016/j.inffus.2022.10.031

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] Multi-Modal and Multi-Task Depression Detection with Sentiment Assistance2024

    • 著者名/発表者名
      hiyu Teng, Shurong Chai, Jiaqing Liu, Tomoko Tateyama, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using Point Cloud Deep Learning with Local Area Attention2024

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Skeleton-Based Dynamic Hand Gesture Datasets: Recognition and Baseline Evaluation for Deep Learning2024

    • 著者名/発表者名
      Masaya Okano, Jiaqing Liu Tomoko Tateyama Yen-Wei Chen
    • 学会等名
      IEEE 42nd International Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 3D Facial Ethnicity Identification Using PointNet++ with Data Augmentation Based on Farthest Point Sampling2023

    • 著者名/発表者名
      Kazuma Okada, Takuma Terada, Ryosuke Kimura, Jiaqing Liu, Tomoko Tateyama, Yen-Wei Chen
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Two-stream Graph Convolutional Networks with Task-specific Loss for Dual-task Gait Analysis2023

    • 著者名/発表者名
      Jiaqing Liu, Shuqiong Wu, Fumio Okura, Yasushi Makihara, Yasushi Yagi
    • 学会等名
      the 45th Annual International Conference of the IEEE Engineering in Medicine and Biology Society
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] An Intra- and Inter-Emotion Transformer-based Fusion Model with Homogeneous and Diverse Constraints Using Multi-emotional Audiovisual Features for Depression Detection2023

    • 著者名/発表者名
      Shiyu Teng, Jiaqing Liu, Shurong Chai,Tomoko Tateyama, Xinyin Huang, Lanfen Lin, Yen-Wei Chen
    • 学会等名
      第26回 画像の認識・理解シンポジウム (MIRU2023)
    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi