• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダル情報環境下における利用者誤りからの回復技法に関する研究

研究課題

研究課題/領域番号 13680407
研究種目

基盤研究(C)

配分区分補助金
応募区分一般
研究分野 計算機科学
研究機関山梨大学

研究代表者

今宮 淳美  山梨大学, 大学院・医学工学総合研究部, 教授 (40006276)

研究分担者 郷 健太郎  山梨大学, 総合情報処理センター, 助教授 (50282009)
研究期間 (年度) 2001 – 2003
研究課題ステータス 完了 (2003年度)
配分額 *注記
3,600千円 (直接経費: 3,600千円)
2003年度: 700千円 (直接経費: 700千円)
2002年度: 1,400千円 (直接経費: 1,400千円)
2001年度: 1,500千円 (直接経費: 1,500千円)
キーワードマルチモーダルインタフェース / 誤り回復 / 固視 / 視覚探索 / 視線入力 / 音声 / Undo / 履歴 / 複合現実空間 / 視覚的探索 / 遠隔カメラ制御 / 両手操作
研究概要

本研究の目的は,次世代のユーザインタフェースに関する誤り回復技法を確立することである.次世代のインタフェースに対するインタラクションの仕方として固視と音声を使って日常生活と同様な自然なインタラクションを実現する研究を行った.問題は,入力された音声と固視情報についてのシステムの認識能力である.音声と固視が単独では,システムの認識誤りが多く発生するモダリティである.本研究の目的は,それら曖昧な2モダリティを組み合わせることによって,適切で頑健なインタラクションシステムを構築することにある.具体的な研究内容を以下に示す:
(1)はじめに,認識誤りがよくおこる固視と音声の2モードをいかに組み合わせてシステム全体の誤り率を低下させインタラクションの効率を上げるかについて研究する.
(2)2番目に,作成したマルチモーダル統合方法を分析評価するために,誤り処理についての新たな効率評価を提案する.この評価法により,本研究で提案するマルチモーダルシステムが最適である条件も発見することができる.
(3)さらに,マルチモーダルの誤りの分類をすることから,それらの誤りを減少する方法を見つけることができた.マルチモーダルの誤りの分類をすることによって,誤りの自動修復システムを開発するひとつの方法を得ることができた.
モダリティの統合の分析と評価実験から,本研究で提案した統合方法はシステムの認識誤りとタスク実行時間を大きく減少させ,さらに,各モード単独では得られない発話の簡略が可能となる.認識誤りを最小にして実行時間を減少させる,簡単な文法と視線操作領域のパラメータ値を見つけることができた.

報告書

(4件)
  • 2003 実績報告書   研究成果報告書概要
  • 2002 実績報告書
  • 2001 実績報告書
  • 研究成果

    (21件)

すべて その他

すべて 文献書誌 (21件)

  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Designing a Robust Speech and Gaze Multimodal System for Diverse Users"Proceedings of the 2003 IEEE International Conference on Information Reuse and Integration. 354-361 (2003)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Overriding Errors in a Speech and Gaze Multimodal Architecture"ACM Proceedings of the 2004 International Conference on Intelligent User Interfaces. 346-348 (2004)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "A Gaze and Speech Multimodal Interface"Proceedings of the 6th International Workshop on Multimedia Network Systems and Applications, IEEE Computer Society. (発表予定). (2004)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Resolving Ambiguities of a Gaze and Speech Interface"Proceedings of the symposium on ACM ETRA 2004 : Eye Tracking Research and Applications.. (発表予定). (2004)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Q.Zhang, A.Imamiya, Kentaro Go: "Text Entry Application Based on Gaze Pointing"7th ERCIM WORKSHOP USER ON INTERFACES FOR ALL. 87-102 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go.: "Text Entry Application Based on Gaze Pointing."Proceedings of the 7th ERCIM Workshop on "User Interfaces For All", Paris. France, October. 87-102 (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao.: "Designing a Robust Speech and Gaze Multimodal System for Diverse Users."Proceedings of the 2003 IEEE International Conference on Information Reuse and Integration (IRI2003), Las Vegas, Nevada, USA, October. 354-361 (2003)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao.: "Overriding Errors in a Speech and Gaze Multimodal Architecture."Proceedings of the 2004 International Conference on Intelligent User Interfaces (IUI2004), Funchal, Madeira, Portugal, January. 346-348 (2004)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao.: "Resolving Ambiguities of a Gaze and Speech Interface"Proceedings of the symposium on ACM ETRA 2004: Eye Tracking Research and Applications, San Antonio, TX, USA, March. (Accepted for publication. (2004)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao.: "A Gaze and Speech Multimodal Interface."Proceedings of the 6th International Workshop on Multimedia Network Systems and Applications (MNSA2004), IEEE Computer Society, Tokyo, Japan, March. (Accepted for publication). (2004)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2003 研究成果報告書概要
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Designing a Robust Speech and Gaze Multimodal System for Diverse Users"Proceedings of the 2003 IEEE International Conference on Information Reuse and Integration. 354-361 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Overriding Errors in a Speech and Gaze Multimodal Architecture"ACM Proceedings of the 2004 International Conference on Intelligent User Interfaces. 346-348 (2004)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "A Gaze and Speech Multimodal Interface"Proceedings of the 6th International Workshop on Multimedia Network Systems and Applications, IEEE Computer Society. (発表予定). (2004)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Qiaohui Zhang, Atsumi Imamiya, Kentaro Go, Xiaoyang Mao: "Resolving Ambiguities of a Gaze and Speech Interface"Proceedings of the symposium on ACM ETRA 2004 : Eye Tracking Research and Applications.. (発表予定). (2004)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Hisanori Masuda, Kentaro Go, Atsumi Imamiya: "Effects of grouping thumbnail images in visual search"HCI International 2003. (発表予定). (2003)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] 増田尚則, 今宮淳美: "Undo機能をもつグラフィカル履歴ブラウザ設計と視覚的探索分析"電子情報通信学会 論文誌 D-I. Vol.1 J85-D-I No.8. 798-810 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Masuda, H.K.Ichikawa, K.Go A.Imamiya: "Measuring eye movements and mouse-pointing pattern using thumbnail images"Measuring Behavior 2002. 116-168 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Q.Zhang, A.Imamiya, Kentaro Go: "Text Entry Application Based on Gaze Pointing"7th ERCIM WORKSHOP USER INTERFACES FOR ALL. 87-102 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] M.Omata, K.Go, A.Imamiya: "An Information Presentation Method in the Augmented Reality World Using a Twist between User's Head and Body"ACM Proceedings of International Workshop on Immersive Telepresence. 44-47 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] 郷健太郎, 伊藤 雅広, 今宮淳美: "ズーム情報を利用した適応型遠隔カメラ制御法"情報処理学会論文誌. 43・2. 585-592 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 増田尚則, 今宮淳美: "Undo機能をもつグラフィカル履歴ブラウザ設計と視覚的探索分析"電子情報通信学会 論文誌 D 採録決定. (2002)

    • 関連する報告書
      2001 実績報告書

URL: 

公開日: 2001-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi