2007 Fiscal Year Annual Research Report
対話文脈の再推定メカニズムを備えた柔軟なモルチモーダル対話システムの構築
| Project/Area Number |
17700185
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
桂田 浩一 Toyohashi University of Technology, 大学院・工学研究科, 講師 (80324490)
|
|---|
| Keywords | PLSA / トピック推定 / 表情認識 |
|---|
| Research Abstract |
(1) PLSAを用いたトピック推定法について
昨年度までは,統計的言語モデルであるPLSAを用いて,ユーザ発話のトピックを推定する方法を検討してきた.本年度はユーザの現時点での発話に加えて,対話履歴(直近の発話で用いられた単語・トピック情報)を用いることにより,精度の高いトピック推定を可能にした.旅行予約対話を対象とした実験の結果,トピック推定率が72.04%から90.01%に向上することが確認できた.
(2) ユーザの表情を取得するモジュールの開発について
トピック推定において補助的に用いるため,ユーザの表情を取得するモジュールを開発した.従来の表情認識では静止画像を対象にしたものが多いのに対し,本研究では動画像を対象とする.顔動画像を適切に処理するため,時系列データの処理に適したリカレントニューラルネットワーク,および顔画像の時間経過に伴うオプティカルフローを利用することで,精度の向上を目指した.9名の被験者の6表情を用いた実験を行ったところ,通常の多階層ニューラルネットワークを用いる場合では認識率が63.2%であったのに対し,提案手法では68.8%の認識率となり,有効性を確認できた.
(3) その他,マルチモーダル対話の応用システムについて
上記の研究の他,マルチモーダル対話システムの応用として,ユーザの視線軌跡情報を用いた動画像推薦システム,およびデフォルメ地図を用いた携帯端末用情報提供・共有システムを開発し,対外発表を行うと共に,産業財産権の申請を行った.
|
