2018 Fiscal Year Research-status Report
音声アシスタントとの対話を介した非接触・暗黙的なヘルスモニタリング技術の研究
| Project/Area Number |
18K18136
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
千葉 祐弥 東北大学, 工学研究科, 助教 (30780936)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 音声対話システム / ユーザ評価 / マルチモーダル対話システム / パラ言語情報処理 / 音声感情認識 |
|---|
| Outline of Annual Research Achievements |
本研究課題は，音声を伴うコミュニケーションにおいて内的状態・感情・健康状態などを伝達する非言語シグナル(例えば音声の韻律や顔色など) を抽出し，非接触かつ暗黙のうちに利用者の日々の健康情報をモニタリングし記録する，対話型ヘルスモニタリングシステムを実現することを目標としている．このような対話型システムが安定的にユーザの健康状態を観測するためには，ユーザに継続して利用される対話システムが必要である．本年度は，まず，健康情報を付与したマルチモーダル対話データ収録の基盤となるマルチモーダル対話システムを構築した．構築した対話システムは常時ユーザの音声と動画像を観測し，音声認識・表情認識・焦点検出に基づく掘り下げ質問の生成・構文解析と極性解析を利用した傾聴的応答の生成・対話エージェントの描画などの機能を備える．続いて，用例ベースの対話システムを基準として，継続的に利用される対話の設計に関して調査を行った．分析から，特に従来の音声対話システムのような，システムかユーザのどちらか一方が対話の主導権を取り続ける対話よりも，相互に自己開示を行うような対話がユーザ評価を向上することを確認した．また，非言語シグナルの取得精度の検証を目的として，実利用下でのパラ言語情報の推定精度を調査した．本年度は，音声に基づく感情の認識実験を行った．結果から，想定していた韻律情報抽出ツールの性能が不十分であるため，パラ言語情報の識別器がシステムの利用環境に対して非常に脆弱であることが明らかになった．同時に，マルチコンディション学習を導入することで推定性能の低下をある程度軽減できることを確認した．また，データの収録に関しては倫理委員会の承認を得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
データ収録用の対話システムに関して，継続的に利用するのに十分な品質の用例応答データベースの構築に至らず，健康情報推定のための対話データ収録ができなかったため．また、当初利用しようとしていた韻律情報抽出ツールの精度が不十分であることが判明し，手法の見直しが必要となったため．
|
| Strategy for Future Research Activity |
実験用対話システムの用例応答データベースを構築し，健康情報が付与されたマルチモーダル対話データの収録を行う．その後，収録したデータを用いて機械学習を前提とした特徴量の分析を行う．
|
| Causes of Carryover |
本年度はパイロットデータとして少数の話者のデータを収録した段階であるため，大規模なデータの収集を行わなかった．そのため、来年度に収録用の人件費を繰り越す．
|
