モダリティアテンションネットを用いたマルチモダール情動データによるうつ病診断
Project/Area Number |
22K21316
|
Research Category |
Grant-in-Aid for Research Activity Start-up
|
Allocation Type | Multi-year Fund |
Review Section |
1002:Human informatics, applied informatics and related fields
|
Research Institution | Ritsumeikan University |
Principal Investigator |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
Project Period (FY) |
2022-08-31 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
Keywords | マルチモーダル / 深層学習 / うつ状態 / 情動データベース / 動的歩行 / 表情動画 / 音声 / うつ状態自動認識 / マルチモダール |
Outline of Research at the Start |
本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す.以下の課題解決を行う. ① 第3のモダリティとして「歩行」を導入した,より高精度な人間のうつ状態の自動認識 ② 各モダリティ間の重みを学習に基づいて自動的に調整し,特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し,マルチモダリティ情報を選択的に融合する手法の確立 ③ 日本の臨床機関との連携による,日本人を対象とした音声+表情画像+歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合
|
Outline of Annual Research Achievements |
2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。 (1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード(関節点)方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing(IF: 5.7)で発表した。 (2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1. 共同で多くの研究成果を出すことができ、トップ学術誌(Neurocomputing)とトップ国際学会(ACM MMなど)に発表した。
|
Strategy for Future Research Activity |
これまでに、新たなモダリティ「歩行」情報からの感情認識法とマルチモーダル情報の融合へのアプローチを開発してきた。今後は、モダリティ間の共起関係が表現されず精度が不十分などの課題についても研究開発を進めていく。また、複数のモダリティから有効な特徴を選択・統合する「モダリティアテンション機構」を人工知能モデルに組み込み、高精度なうつ病認識モデルを開発していく。
|
Report
(1 results)
Research Products
(12 results)