2003 Fiscal Year Annual Research Report
マルチモーダル情報環境下における利用者誤りからの回復技法に関する研究
| Project/Area Number |
13680407
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
今宮 淳美 山梨大学, 大学院・医学工学総合研究部, 教授 (40006276)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
郷 健太郎 山梨大学, 総合情報処理センター, 助教授 (50282009)
|
|---|
| Keywords | マルチモーダルインタフェース / 誤り回復 / 固視 / 視覚探索 / 視線入力 / 音声 |
|---|
| Research Abstract |
本研究の目的は,次世代のユーザインタフェースに関する誤り回復技法を確立することである.次世代のインタフェースに対するインタラクションの仕方として固視と音声を使って日常生活と同様な自然なインタラクションを実現する研究を行った.問題は,入力された音声と固視情報についてのシステムの認識能力である.音声と固視が単独では,システムの認識誤りが多く発生するモダリティである.本研究の目的は,それら曖昧な2モダリティを組み合わせることによって,適切で頑健なインタラクションシステムを構築することにある.具体的な研究内容を以下に示す:
(1)はじめに,認識誤りがよくおこる 固視と音声の2モードをいかに組み合わせてシステム全体の誤り率を低下させインタラクションの効率を上げるかについて研究する.
(2)2番目に,作成したマルチモーダル統合方法を分析評価するために,誤り処理についての新たな効率評価を提案する.この評価法により,本研究で提案するマルチモーダルシステムが最適である条件も発見することができる.
(3)さらに,マルチモーダルの誤りの分類をすることから,それらの誤りを減少する方法を見つけることができた.マルチモーダルの誤りの分類をすることによって,誤りの自動修復システムを開発するひとつの方法を得ることができた.
モダリティの統合の分析と評価実験から,本研究で提案した統合方法はシステムの認識誤りとタスク実行時間を大きく減少させ,さらに,各モード単独では得られない発話の簡略が可能となる.認識誤りを最小にして実行時間を減少させる,簡単な文法と視線操作領域のパラメータ値を見つけることができた.
|
Research Products
(4 results)
-
[Publications] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Designing a Robust Speech and Gaze Multimodal System for Diverse Users"Proceedings of the 2003 IEEE International Conference on Information Reuse and Integration. 354-361 (2003)
-
[Publications] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Overriding Errors in a Speech and Gaze Multimodal Architecture"ACM Proceedings of the 2004 International Conference on Intelligent User Interfaces. 346-348 (2004)
-
[Publications] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "A Gaze and Speech Multimodal Interface"Proceedings of the 6th International Workshop on Multimedia Network Systems and Applications, IEEE Computer Society. (発表予定). (2004)
-
[Publications] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Resolving Ambiguities of a Gaze and Speech Interface"Proceedings of the symposium on ACM ETRA 2004 : Eye Tracking Research and Applications.. (発表予定). (2004)
