| Project/Area Number |
23K20002
|
|---|
| Research Category |
Grant-in-Aid for Research Activity Start-up
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
1002:Human informatics, applied informatics and related fields
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
堅田 俊 大阪大学, 産業科学研究所, 特任助教(常勤) (50983425)
|
|---|
| Project Period (FY) |
2023-08-31 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | Affective Computing / 心象推定 / マルチモーダルインタラクション / 対話システム / 生体信号処理 / Sentiment Analysis / Multimodal Interaction / Dialogue System / Biosignal Processing |
|---|
| Outline of Research at the Start |
人とシステムがインタラクティブに対話するためには，ユーザの満足，不満などの心象変化をシステムが検出できる必要がある．しかしながら，統制実験下ではない自然な対話ではユーザ心象は必ずしも明示的に表出されない．一方，脳情報や自律神経情報などの生体情報は，表出されない感情変化の検出に有用であることが統制実験に基づく研究で明らかになってきている．本研究では生体情報を活用することで，自然な対話時に表出されないユーザ心象の推定技術を確立する．また，対話システムの評価に有用な客観的生理指標の探求も行う．これら技術により人とシステムのインタラクションを支え，ユーザに寄り添える適応的対話システムの実現に貢献する．
|
| Outline of Annual Research Achievements |
本研究課題では，自然な対話時に表出されないユーザ心象（対話が楽しい又は退屈である等の心理的状態）の推定技術を確立する．特に，対話時脳波を含む生体情報を活用することで，ユーザ心象に対して適応的にふるまえる対話システムの実現に貢献する．本年度は1) 対話時脳波を含むマルチモーダルデータセットの構築，2) 顔動画情報を活用した脳波瞬目ノイズ除去法の開発，3) 言語，音声，脳波の統合によるマルチモーダル心象推定に取り組んだ．
人とシステムとの対話における脳波情報の収集及び公開は，これまでにほとんど検討されていない．1) では合計30名のマルチモーダル対話データを脳波情報とともに収集した．多角的な視点から研究を実施できるよう，性格特性や対話評価の質問票を追加した．同時に，脳波の個人最適化を狙いとして安静時脳波や想起時脳波も収集した．本データセットは適応的対話システムの開発や脳波研究に有用である．2024年度内の公開を予定している．2) 脳波は微弱な電気信号であり，瞬目ノイズに対して脆弱である．1) で構築したデータセットの顔動画情報を活用することで，瞬目ノイズ除去法を新たに提案し，脳波に基づく心象推定性能の向上に貢献した．3) では言語情報や音声情報（表出される情報），及び脳波情報を統合することにより心象推定性能の向上を確認した．すなわち，脳波情報は言語や音声情報のみでは検出が難しい心象の検出に有用であることを見出した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定通りデータの収集を終えておりさらなる追加実験（データセット構築）も進行中である．本研究は国際会議にて発表予定であり，成果発表に向け順調に進んでいる．
|
| Strategy for Future Research Activity |
さらなるデータセットを構築することで，マルチモーダル情報における脳波の位置づけを明確化していく．また，表出されない情報を利用した対話システム評価指標の確立については，脳波の個人最適化と並行して進める．
|
