本研究の目的である音声とジェスチャを組み合わせたマルチモーダル インターフェースの研究として、本年は、これまで研究を進めてきた「歌声による曲検索」および「空中での手書き文字認識」を統一環境で実装可能なOS的なシステムの研究を進めた。 また、このシステムを実装した計算機の概念を「コビト計算機」と定義した。コビト計算機は、利用者の肩に搭載して動作する計算機であり、利用者から得られる視聴覚情報(音声、ジェスチャ)を処理し、利用場面に合わせて動作制御できる状態遷移モデルのシステムとして開発した。 「歌声による曲検索」を、コビト計算機上に実装したところ、GUIを一切使わずに、音声だけで高速に曲検索が可能なシステムを実現できた。また、本年度は、曲検索を並列・分散処理できるアルゴリズムの手法を開発し、その設計手法を定式化した。この研究結果を2つの国際会議(IWEC2002、WEDELMUSIC2002)で発表を行った。 「空中での手書き文字認識」では、コビト計算機上に実装するとともに、これまで行ってきた一連の成果をまとめ、電子情報通信学会論文誌に投稿した。本論文は、採録決定している。 さらに、コビト計算機の研究では、視聴覚情報処理と同様に、様々な入力インターフェースを実装することを目的として、音声認識による対話、メールによる動作制御、ジャイロセンサーを使った姿勢に関する加速度の測定、音声ストリーミング通話等の一連の機能を統一環境で扱う手法を明らかにした。
|