モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断
| Project/Area Number |
22K21316
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | マルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出 / マルチモーダル / 深層学習 / うつ状態 / 情動データベース / 動的歩行 / 表情動画 / 音声 / うつ状態自動認識 / マルチモダール |
|---|
| Outline of Research at the Start |
本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す．以下の課題解決を行う．
① 第3のモダリティとして「歩行」を導入した，より高精度な人間のうつ状態の自動認識
② 各モダリティ間の重みを学習に基づいて自動的に調整し，特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し，マルチモダリティ情報を選択的に融合する手法の確立
③ 日本の臨床機関との連携による，日本人を対象とした音声＋表情画像＋歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合
|
| Outline of Annual Research Achievements |
現代社会において、ストレスの多さはうつ病という深刻な社会問題を引き起こしており、正確な診断に基づく「うつ状態」の早期発見がますます重要になっています。一般的な問診に加えて、患者の表情や音声など複数の観測情報（モダリティ）を利用したうつ病診断が国内外で行われています。本研究では、従来の表情と音声に加え、新たなモダリティである「歩行」を組み込んだマルチモダリティ情報を基に、AIを活用した診断支援システムの開発に成功しました。
従来の手法では、表情と音声から抽出された特徴を単一のベクトルで表現してうつ状態を認識していましたが、これではモダリティ間の相互関係が十分に表現されず、診断の精度が不十分であるという問題がありました。この問題を解決するために、「モダリティアテンション機構」という新しい深層学習手法を提案しました。この手法は、モダリティ間の重要性を自動的に学習し、特徴を選択的に融合することで、うつ状態の推定精度を大幅に向上させました。
これらの研究成果は、国内外の著名な学術誌や国際学会で広く発表されています。具体的には、「Information Fusion」、「Neurocomputing」、「IEICE」の学術誌や、「PerCom」、「IEEE EMBC」、「IEEE ICCE」、「IEEE GCCE」などの国際学会での発表を通じて、研究の効果と革新性が高く評価されました。
|
Report
(2 results)
Research Products
(23 results)
