2008 Fiscal Year Annual Research Report
マルチメディアコーパスと確率モデルを利用したマルチモーダル対話制御に関する研究
Project/Area Number |
18500115
|
Research Institution | Kyushu Institute of Technology |
Principal Investigator |
遠藤 勉 Kyushu Institute of Technology, 大学院・情報工学研究院, 教授 (10112294)
|
Co-Investigator(Kenkyū-buntansha) |
嶋田 和孝 九州工業大学, 大学院・情報工学研究院, 助教 (50346863)
|
Keywords | コーパス分析 / コーパス作成支援 / ジェスチャ認識 / マルチモーダル対話 / 音声認識 / 文脈情報処理 / 概念ネットワーク |
Research Abstract |
1.コーパスの整備:コーパスの作成には一般に大きなコストがかかり,また,コーパスそのものの信頼度なども十分に考慮する必要がある.そのためのコーパス分析ツールとコーパス作成支援ツールの開発を行った.その結果,完全な手作業によるアノテーションと比較し,開発したコーパス作成支援ツールを使うことで,作業時間については3〜4割程度が削減でき,一方でタグの一致率が向上することが確認された. 2.システムのマルチモーダル化:マルチモーダル入力として,USBカメラとマーカを利用したハンドジェスチャ認識と,音声認識を併用したシステムについて検証した.具体的には写真管理アプリケーションを作成し,そのシステムを通じて,ハンドジェスチャ認識の精度などを評価した.マーカを利用することで,高精度な指先の抽出が可能となり,精度の高いハンドジェスチャシステムであることを確認した.評価のために試作した写真管理アプリケーションでは,画像の選択や移動,拡大/縮小といった作業を直感的に制御でき,さらに複数のマーカを同時に追跡することが可能なため,マウスなどよりも多様な操作が可能であることを確認した. 3.文脈情報の定義と対話管理:対話システムにおける文脈情報を発話文理解と生成及びタスク実行に使用するすべての知識であると定義して,エピソード記憶,談話記憶,基底記憶の3階層からなり,知識表現に拡張格フレームを採用した3階層概念ネットワークと,これを基盤にした対話処理アーキテクチャを提案し,医者と患者の対話をシミュレートする対話型病名診断システムを構築して,対話管理方式の有効性を実験的に検証した。
|
Research Products
(9 results)