2012 Fiscal Year Research-status Report
感性にはたらきかけるカウンセリングのためのパラ言語情報と身体動作の計測と解析
| Project/Area Number |
23650111
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
入野 俊夫 和歌山大学, システム工学部, 教授 (20346331)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
花田 里欧子 京都教育大学, 教育学部, 准教授 (10418585)
古山 宣洋 国立情報学研究所, 情報社会相関研究系, 准教授 (20333544)
井上 雅史 山形大学, 理工学研究科, 助教 (50390597)
|
|---|
| Keywords | 臨床心理面接 / 対話情報処理 / パラ言語情報 / 身体動作 / 感情推移観測システム / 認知心理学 / 音声音響工学 |
|---|
| Research Abstract |
カウンセリング(臨床心理面接)の対話場面における、パラ言語情報(口振り)と身体動作(身振り)の役割に関して解明するため以下の項目の研究を推進した。
１. 臨床心理データ収集・分析：臨床心理対話のデータ数を増やすため、カウンセリング学習会の一環のクライアント体験にデータを新規に収録した。これは、口元マイクによる音声収集、加速度センサによる頷きデータ収集、ビデオ撮影からなる。セラピストはベテラン２人で、各々10名分と6名分のデータを収集することができた。この内の１データについて、発話内容の書き起こしと正確な発話時刻にあわせたアノテーションを始めており、今後必要な作業の目安を求めた。また、その時のセラピストの面接状況についての評価を感情推移観測(EMO)システムで入力した。今後の解析で活用する。
２. 計測系の高度化: 測定系を無線化できることを確認したが、現状では有線で十分と判断した。加速度センサ回路をプリント基板化して安定性を向上させ、量産もできるようにした。また、時報をDTMF信号で出力する計時ソフトを開発し、音声収録系の同期も十分なレベルで取れるようにした。さらに機材や接続等の簡素化も行い、可搬で簡易に利用できる完成型に近い有線システムを構築できた。
3. データ分析と規則性の抽出: 既収録の２者対話タスク「アニメーション説明課題」について、発話内容のアノテーションを行い、音声認識技術による音素境界抽出と基本周波数抽出を行なった。その上で、各話者の最頻出単語の発話区間に関して、基本周波数と、頷きの加速度、EMOシステムによる感情状態の評定値（6軸：快-不快、覚醒-睡眠、支配-服従、信頼-不信、感心-無関心、肯定的-否定的）の間の相関を検討した。まだ明確な傾向は見つかっていが、今後必要となる基礎データの整備と、分析方針の明確化ができた。さらに３対話を収録した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１. 臨床心理データ収集・分析に関して、新規収録を行うことができた。その分析方針を明確化して、作業を開始できたことにより、当初計画分は達成した。さらに、実際に感情推移観測(EMO)システムにより面接状況評価を開始できたことはいままでに無い画期的な成果である。
2. 計測系の高度化に関しては、この時点でほぼ満足のいく有線系システムが作れ、目標は達成した。現状の臨床心理面接を収録する目的では、話者が椅子から移動しないため無線化は不要である。また、Kinectによる距離データ収集も「アニメーション説明課題」で行った。しかし、精度が要求水準に比べ高くなく不必要と判断され、結果的に測定系の簡易化につなげることができた。
3. 基本周波数や頷きの加速度等の物理的特徴量から、感情推移観測(EMO)システムによる感情評定値の予測という枠組みを具体的に開始し、今後の指針とすることができたことは計画どおりで順調である。パラ言語情報の抽出に関し、新たに音声認識技術による音素境界特定等、音声言語情報も積極的に加味することを行なったことは前進である。
|
| Strategy for Future Research Activity |
２. 計測系の高度化については満足の行く開発が概ねいままでできているので、1. 臨床心理データ収集・分析と3. データ分析と規則性の抽出の２つの課題を融合させる方向に重点を置き研究推進する。
今回収録した、臨床心理面接データすべてについて、アノテーションを付与する予定である。さらに、面接状況についての評価を感情推移観測(EMO)システムで評価する作業を、ベテランセラピスト2～3名に依頼して付与する。「アニメーション説明課題」について今回収録した対話についても同様にアノテーション作業を行う。その上で、加速度データや音声データから得られる物理的な特徴量をさらに増やして、感情推移状況の説明がより良く説明できる統計的モデルを構築する。この「アニメーション説明課題」を分析の先行事例として、臨床心理面接に関して適用していく。また、両課題とも目的指向対話であるので、両者を対比できると「何が臨床心理的なのか」が明確化できる。データを詳細に見ていくことにより、この議論ができるか可能性についても探る。
|
| Expenditure Plans for the Next FY Research Funding |
上記のアノテーションの作業はかなり人手に頼る必要があるため、謝金を増やして対応する。また、研究打ち合わせと成果発表は欠かせないため、旅費確保を行なう。これらに対し、測定系の機材関連はおおよそ揃ってきているので、必要最小限とする。
|
-
-
[Presentation] Multimodal corpus for psychotherapeutic situation
Author(s)
Masashi Inoue, Ryoko Hanada, Nobuhiro Furuyama, Toshio Irino, Takako Ichinomiya, and Hiroyasu Massaki
Organizer
Workshop on Multimodal corpora: How Should Multimodal corpora Deal with the Situation? , (Pre-conference workshop of LREC 2012 )
Place of Presentation
Istanbul, Turkey
