| 研究課題/領域番号 |
22K21316
|
|---|
| 研究種目 |
研究活動スタート支援
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
1002:人間情報学、応用情報学およびその関連分野
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
|---|
| 研究期間 (年度) |
2022-08-31 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | マルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出 / マルチモーダル / 深層学習 / うつ状態 / 情動データベース / 動的歩行 / 表情動画 / 音声 / うつ状態自動認識 / マルチモダール |
|---|
| 研究開始時の研究の概要 |
本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す．以下の課題解決を行う．
① 第3のモダリティとして「歩行」を導入した，より高精度な人間のうつ状態の自動認識
② 各モダリティ間の重みを学習に基づいて自動的に調整し，特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し，マルチモダリティ情報を選択的に融合する手法の確立
③ 日本の臨床機関との連携による，日本人を対象とした音声＋表情画像＋歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合
|
| 研究実績の概要 |
現代社会において、ストレスの多さはうつ病という深刻な社会問題を引き起こしており、正確な診断に基づく「うつ状態」の早期発見がますます重要になっています。一般的な問診に加えて、患者の表情や音声など複数の観測情報（モダリティ）を利用したうつ病診断が国内外で行われています。本研究では、従来の表情と音声に加え、新たなモダリティである「歩行」を組み込んだマルチモダリティ情報を基に、AIを活用した診断支援システムの開発に成功しました。
従来の手法では、表情と音声から抽出された特徴を単一のベクトルで表現してうつ状態を認識していましたが、これではモダリティ間の相互関係が十分に表現されず、診断の精度が不十分であるという問題がありました。この問題を解決するために、「モダリティアテンション機構」という新しい深層学習手法を提案しました。この手法は、モダリティ間の重要性を自動的に学習し、特徴を選択的に融合することで、うつ状態の推定精度を大幅に向上させました。
これらの研究成果は、国内外の著名な学術誌や国際学会で広く発表されています。具体的には、「Information Fusion」、「Neurocomputing」、「IEICE」の学術誌や、「PerCom」、「IEEE EMBC」、「IEEE ICCE」、「IEEE GCCE」などの国際学会での発表を通じて、研究の効果と革新性が高く評価されました。
|
