• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

マルチモーダル インターフェースの研究

Research Project

Project/Area Number 00J05730
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field 情報通信工学
Research InstitutionWaseda University
Research Fellow 園田 智也  早稲田大学, 理工学研究科, 特別研究員(DC1)
Project Period (FY) 2000 – 2002
Project Status Completed (Fiscal Year 2002)
Budget Amount *help
¥3,000,000 (Direct Cost: ¥3,000,000)
Fiscal Year 2002: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2001: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2000: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsあいまい検索 / マルチモーダル / インターフェース / 画像処理 / DPマッチング / 音声処理 / 情報検索 / 赤外線
Research Abstract

本研究の目的である音声とジェスチャを組み合わせたマルチモーダル インターフェースの研究として、本年は、これまで研究を進めてきた「歌声による曲検索」および「空中での手書き文字認識」を統一環境で実装可能なOS的なシステムの研究を進めた。
また、このシステムを実装した計算機の概念を「コビト計算機」と定義した。コビト計算機は、利用者の肩に搭載して動作する計算機であり、利用者から得られる視聴覚情報(音声、ジェスチャ)を処理し、利用場面に合わせて動作制御できる状態遷移モデルのシステムとして開発した。
「歌声による曲検索」を、コビト計算機上に実装したところ、GUIを一切使わずに、音声だけで高速に曲検索が可能なシステムを実現できた。また、本年度は、曲検索を並列・分散処理できるアルゴリズムの手法を開発し、その設計手法を定式化した。この研究結果を2つの国際会議(IWEC2002、WEDELMUSIC2002)で発表を行った。
「空中での手書き文字認識」では、コビト計算機上に実装するとともに、これまで行ってきた一連の成果をまとめ、電子情報通信学会論文誌に投稿した。本論文は、採録決定している。
さらに、コビト計算機の研究では、視聴覚情報処理と同様に、様々な入力インターフェースを実装することを目的として、音声認識による対話、メールによる動作制御、ジャイロセンサーを使った姿勢に関する加速度の測定、音声ストリーミング通話等の一連の機能を統一環境で扱う手法を明らかにした。

Report

(1 results)
  • 2002 Annual Research Report

Research Products

(3 results)

All Other

All Publications (3 results)

  • [Publications] Tomonari Sonoda, Toshiya Ikenaga, Kana Shimizu, Yoichi Muraoka: "A Melody Retrieval System on Parallel-ized Computers"International Workshop on Entertainment Computing 2002 Proceedings. 261-268 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] Tomonari Sonoda, Toshiya Ikenaga, Kana Shimizu, Yoichi Muraoka: "THE DESIGN METHOD OF A MELODY RETRIEVAL SYSTEM ON PARALLEL-IZED COMPUTERS (2002年12月9日発表)"Web Delivery of Music 2002 Proceedings. 66-77 (2002)

    • Related Report
      2002 Annual Research Report
  • [Publications] 園田智也, 村岡洋一: "空中での手書き空中での手書き文字入力システム"電子情報通信学会論文誌. (採録決定). (2003)

    • Related Report
      2002 Annual Research Report

URL: 

Published: 2000-03-31   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi