Development of self-diagnosis system using audio, expression and action for depression prediction
| Project/Area Number |
20J13009
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
LIU JIAQING 立命館大学, 情報理工学研究科, 特別研究員(DC2) (20948343)
|
|---|
| Project Period (FY) |
2020-04-24 – 2021-03-31
|
| Project Status |
Completed (Fiscal Year 2020)
|
| Budget Amount *help |
¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | うつ病認識 / マルチモダリティAI |
|---|
| Outline of Research at the Start |
The propose of this research is to efficiently model multimodal behavior (action, facial expressions, and speech) to automatically recognize mild depression and finally implement the algorithms in a smartphone application to monitor depression intelligently.
|
| Outline of Annual Research Achievements |
ストレスが多い現代社会では"うつ病”が大きな問題である．うつ病に対する早期発見と適切な治療により，大部分の改善が期待できることから，人工知能を用いた音声や表情などの特徴からうつ状態を検出する手法が期待されている. 本研究では，被験者の音声と表情動画像を用いたうつ状態検出法（Multi-modal Adaptive Fusion Transformer Network）を提案した．主な貢献点は, ①適応的マルチモダリティ特徴融合法を提案し，うつ状態検出に最も有効なモダリティ特徴を強調することによって高い検出精度の実現，②再帰型ニューラルネットワーク(RNN)の代わりにTransformerを用いたLong-range の時系列特徴を抽出による，検出精度の向上，③マルチタスク学習による検出精度の向上，である．提案法はstate-of-the-art精度を達成した．それらの成果は，国際学術誌IEEE Sensors Journal，IEEE Transactions on Instrumentation and Measurement，Sensors，および国際学会ACCVなどで発表した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Report
(1 results)
Research Products
(15 results)
