| Project/Area Number |
22K21316
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
Liu Jiaqing 立命館大学, 情報理工学部, 助教 (20948343)
|
|---|
| Project Period (FY) |
2022-08-31 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | マルチモダリティAI / うつ状態自動認識 / 情動データベース / 動的歩行 / マルチモダール情報融合 / うつ状態認識 / マルチモダリティ行動データベース / 時空間特徴抽出 / マルチモーダル / 深層学習 / うつ状態 / 表情動画 / 音声 / マルチモダール |
|---|
| Outline of Research at the Start |
本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す．以下の課題解決を行う．
① 第3のモダリティとして「歩行」を導入した，より高精度な人間のうつ状態の自動認識
② 各モダリティ間の重みを学習に基づいて自動的に調整し，特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し，マルチモダリティ情報を選択的に融合する手法の確立
③ 日本の臨床機関との連携による，日本人を対象とした音声＋表情画像＋歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合
|
| Outline of Final Research Achievements |
This study aimed to enhance the accuracy of depression diagnosis by integrating multimodal information such as facial expressions, voice, and gait. Utilizing the Modality Attention Network, a new method was proposed to effectively fuse information from various modalities, achieving more accurate recognition of depressive states. The findings contribute to improving the precision of clinical diagnoses and are expected to have a significant social impact by enhancing the quality of depression treatment.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は、モダリティアテンションネットワークを用いて、うつ病の正確な診断と早期発見を可能にする新しいアプローチを提案した。この方法は、複数のモダリティからの情報を統合し、診断プロセスの信頼性と精度を向上させる。この研究の成果は、医療診断技術の進展に寄与し、うつ病治療の効率化と患者の生活質の改善につながる社会的意義も持つ。
|
