| 研究課題/領域番号 |
22K21316
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
|---|
| 研究期間 (年度) |
2022-08-31 – 2024-03-31
|
| キーワード | マルチモーダル / 深層学習 / うつ状態 / 情動データベース / 動的歩行 / 表情動画 / 音声 |
|---|
| 研究実績の概要 |
2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。
(1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード（関節点）方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing（IF: 5.7）で発表した。
(2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
１. 共同で多くの研究成果を出すことができ、トップ学術誌（Neurocomputing）とトップ国際学会（ACM MMなど）に発表した。
|
| 今後の研究の推進方策 |
これまでに、新たなモダリティ「歩行」情報からの感情認識法とマルチモーダル情報の融合へのアプローチを開発してきた。今後は、モダリティ間の共起関係が表現されず精度が不十分などの課題についても研究開発を進めていく。また、複数のモダリティから有効な特徴を選択・統合する「モダリティアテンション機構」を人工知能モデルに組み込み、高精度なうつ病認識モデルを開発していく。
|
| 次年度使用額が生じた理由 |
コロナ制限により、海外学者を対面で招待できなかったため、次年度の使用額が生じました。この部分の経費は、海外学会への旅費として使用する予定です。
|
