| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2023: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Outline of Research at the Start |
雑談対話など, 柔軟かつリアルタイムに応答が求められるインタラクションが可能な対話システムは, 今後, 人とシステムの共生社会を実現する上で重要となる. 本研究では特に, 応答タイミングを考慮するために, 対話における頷きや笑顔のように, 同調をする動作に注目をする. そのため, 人-人インタラクションデータを記録し, 収集したデータに基づき同調の特徴表現の学習をする. そして, 表現学習器を用いた同調評価器に基づく「間」に注目をした対話システムの開発をめざす.
|
| Outline of Annual Research Achievements |
本研究では, 対話中のインタラクションから, 特に時刻的な同調構造, すなわち「間」について扱う. このとき, 次の内容の研究,(1) インタラクションデータから同調についての特徴量を学習する表現学習, (2) 表現学習結果の識別/予測モデルへの応用検討, (3) オンライン同調評価機能を搭載した対話システムの開発,に取り組む.
本年度では, カメラやマイクなどの一般的なセンサを用い, インタラクション中の姿勢や発話区間といった情報を取得し, このデータをもとに, インタラクションデータから同調についての特徴量を学習する表現学習を行った. この時, ある対話参加者の特徴量を時間方向にシフトして結合する, ラグ操作, により観測データに含まれる同調構造を抽出できることを確認した. これにより, 人によるアノテーション無しに時刻的な同調構造を抽出できることが示唆された.
一方, 対話における二者間の振る舞いの同調現象の特性と対話参加者の個性の関係についても調査を行った. 基礎的な検討の結果, 個性における一部パラメータと笑顔の同調の間に関係があることが確認できた. 特に同調の頻度だけでなく, 同調が発生したときの遅れ時間との関係も示唆された.
また, 抽出したデータを用い, 二者間対話における各人の振る舞い生成手法についても検討をした. 二者の情報を同時に考慮することで, 対話相手の振る舞いの予測結果に基づき, 生成対象の振る舞いが変化するような, 同時確率的なモデリングを可能とした. 本動作生成モデルで得られた動作は, 対話中の人に近い振る舞いであることがわかった. すなわち, 二者間対話における時間構造が暗に埋め込まれていることを示唆している.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は人ー人対話データを用いた同調構造の学習および表現学習結果の識別/予測モデルへの応用検討を計画していた. これらに加え, 対話中の生成モデルの検討ならびに対話データにおける知見抽出などを行うことができたため, おおむね順調に進展していると判断した.
|
| Strategy for Future Research Activity |
対話同調の評価をオンラインで行うことができるシステムを開発し, 二者間対話における評価値の変動を確認する. 同調評価値を用いた対話システムの検討を行う. また, より豊かな対話システム実現のため, 振る舞い生成モデルに個性など追加パラメータの導入および長期的な振る舞い生成結果の検証し, さらに対話システムの発話内容の生成についても検討を行う.
|
