2023 Fiscal Year Research-status Report
Unexpressed sentiment estimation using biological information in natural dialogue
| Project/Area Number |
23K20002
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
堅田 俊 大阪大学, 産業科学研究所, 特任助教(常勤) (50983425)
|
|---|
| Project Period (FY) |
2023-08-31 – 2025-03-31
|
| Keywords | Affective Computing / 心象推定 / マルチモーダルインタラクション / 対話システム / 生体信号処理 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，自然な対話時に表出されないユーザ心象（対話が楽しい又は退屈である等の心理的状態）の推定技術を確立する．特に，対話時脳波を含む生体情報を活用することで，ユーザ心象に対して適応的にふるまえる対話システムの実現に貢献する．本年度は1) 対話時脳波を含むマルチモーダルデータセットの構築，2) 顔動画情報を活用した脳波瞬目ノイズ除去法の開発，3) 言語，音声，脳波の統合によるマルチモーダル心象推定に取り組んだ．
人とシステムとの対話における脳波情報の収集及び公開は，これまでにほとんど検討されていない．1) では合計30名のマルチモーダル対話データを脳波情報とともに収集した．多角的な視点から研究を実施できるよう，性格特性や対話評価の質問票を追加した．同時に，脳波の個人最適化を狙いとして安静時脳波や想起時脳波も収集した．本データセットは適応的対話システムの開発や脳波研究に有用である．2024年度内の公開を予定している．2) 脳波は微弱な電気信号であり，瞬目ノイズに対して脆弱である．1) で構築したデータセットの顔動画情報を活用することで，瞬目ノイズ除去法を新たに提案し，脳波に基づく心象推定性能の向上に貢献した．3) では言語情報や音声情報（表出される情報），及び脳波情報を統合することにより心象推定性能の向上を確認した．すなわち，脳波情報は言語や音声情報のみでは検出が難しい心象の検出に有用であることを見出した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定通りデータの収集を終えておりさらなる追加実験（データセット構築）も進行中である．本研究は国際会議にて発表予定であり，成果発表に向け順調に進んでいる．
|
| Strategy for Future Research Activity |
さらなるデータセットを構築することで，マルチモーダル情報における脳波の位置づけを明確化していく．また，表出されない情報を利用した対話システム評価指標の確立については，脳波の個人最適化と並行して進める．
|
| Causes of Carryover |
追加データ収集スケジュールが1ヶ月ほど後ろ倒しとなったため，2024年3月使用予定の分を翌年度分とした．2024年4月より追加データ収集は順調に進んでいるため，使用計画全体として大きな変更はない．
|
