研究課題/領域番号 |
22K21316
|
研究種目 |
研究活動スタート支援
|
配分区分 | 基金 |
審査区分 |
1002:人間情報学、応用情報学およびその関連分野
|
研究機関 | 立命館大学 |
研究代表者 |
劉 家慶 立命館大学, 情報理工学部, 助教 (20948343)
|
研究期間 (年度) |
2022-08-31 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
キーワード | マルチモーダル / 深層学習 / うつ状態 / 情動データベース / 動的歩行 / 表情動画 / 音声 / うつ状態自動認識 / マルチモダール |
研究開始時の研究の概要 |
本研究は「表情と音声によるマルチモダール情報を用いたうつ状態認識」を発展させた新たなマルチモーダル解析による精度向上を目指す.以下の課題解決を行う. ① 第3のモダリティとして「歩行」を導入した,より高精度な人間のうつ状態の自動認識 ② 各モダリティ間の重みを学習に基づいて自動的に調整し,特に認識へ重要なモダリティを強調する新たなアテンション機構を提案し,マルチモダリティ情報を選択的に融合する手法の確立 ③ 日本の臨床機関との連携による,日本人を対象とした音声+表情画像+歩行によるマルチモダリティうつ病情動データベース構築とこれまでの研究成果であるデータベースへの融合
|
研究実績の概要 |
2022年度は、モダリティアテンションネットを用いたマルチモーダル情動データによるうつ病診断を目的として、以下の研究成果が得られた。 (1) 歩行は人間の基本動作の1つであり、個人の特徴や感情を表現する動作としても捉えられる。人間の感情によって注目すべき歩行動作が異なるため、各関節点の重要度が異なる。感情ごとに重要な関節点と特徴に自動的に注目できるように、ノード(関節点)方向とチャンネル方向にそれぞれAttention機構を導入したDual Attention時空間グラフ畳み込みネットワークを提案し、重要な関節点または特徴に大きな重みをかけ合わせることによって高い精度を実現した。その成果は画像電子学会誌で発表した。また、受容野の不均衡問題を緩和し、関節間の非局所依存性を捉えるために、マルチヘッド疑似ノードを提案した。追加ノードを用いて、すべての物理的な人体関節にリンクし、異なる特徴空間からのグローバル情報を取得した。その結果はNeurocomputing(IF: 5.7)で発表した。 (2) MLPとTransformerを用いたマルチモダリティ情報を融合する手法を開発した。それぞれの成果は、メディア分野のトップ国際学会であるACM MM 2022とIEEE GCCE 2022で発表した。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
1. 共同で多くの研究成果を出すことができ、トップ学術誌(Neurocomputing)とトップ国際学会(ACM MMなど)に発表した。
|
今後の研究の推進方策 |
これまでに、新たなモダリティ「歩行」情報からの感情認識法とマルチモーダル情報の融合へのアプローチを開発してきた。今後は、モダリティ間の共起関係が表現されず精度が不十分などの課題についても研究開発を進めていく。また、複数のモダリティから有効な特徴を選択・統合する「モダリティアテンション機構」を人工知能モデルに組み込み、高精度なうつ病認識モデルを開発していく。
|