2023 Fiscal Year Annual Research Report
モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断
| Project/Area Number |
22K21316
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Keywords | マルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出 |
|---|
| Outline of Annual Research Achievements |
現代社会において、ストレスの多さはうつ病という深刻な社会問題を引き起こしており、正確な診断に基づく「うつ状態」の早期発見がますます重要になっています。一般的な問診に加えて、患者の表情や音声など複数の観測情報（モダリティ）を利用したうつ病診断が国内外で行われています。本研究では、従来の表情と音声に加え、新たなモダリティである「歩行」を組み込んだマルチモダリティ情報を基に、AIを活用した診断支援システムの開発に成功しました。
従来の手法では、表情と音声から抽出された特徴を単一のベクトルで表現してうつ状態を認識していましたが、これではモダリティ間の相互関係が十分に表現されず、診断の精度が不十分であるという問題がありました。この問題を解決するために、「モダリティアテンション機構」という新しい深層学習手法を提案しました。この手法は、モダリティ間の重要性を自動的に学習し、特徴を選択的に融合することで、うつ状態の推定精度を大幅に向上させました。
これらの研究成果は、国内外の著名な学術誌や国際学会で広く発表されています。具体的には、「Information Fusion」、「Neurocomputing」、「IEICE」の学術誌や、「PerCom」、「IEEE EMBC」、「IEEE ICCE」、「IEEE GCCE」などの国際学会での発表を通じて、研究の効果と革新性が高く評価されました。
|
