音情報を利用した数値シミュレーションデータ共有のためのVRシステムの研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780317
• Research Institution: National Institute for Fusion Science
• Principal Investigator: 田村 祐一 核融合科学研究所, 理論・シミュレーション研究センター, 助手 (50311212)
• Keywords: Virtual Reality / Simulation / Speech Recognition / Verbal Interface / Auditory Display / 3d-Sound / Sonification / IPT

Research Abstract

今年度は音声認識によるインターフェイスの開発に取り組んだ。没入型ディスプレイシステムを利用する場合、使用者は立位での使用が主となるため、入力デバイスも立位で操作可能な数個のボタンとジョイスティックからなるデバイスが一般的に使用される。しかし、表示するコンテンツにより操作方法が異なり、キーボードにおける文字入力のような直接的操作を行うことが困難であるという問題がある。特に数値シミュレーションデータの可視化を行う場合、ウォークスルーなどのコンテンツと違い、表現されるシミュレーションモデルによって、表現方法が異なるため、なおさらコマンドが多岐にわたる傾向がある。このような場合、音声認識によるインターフェイスは直感的に操作できるという意味で、最も効果的である。
バーチャルリアリティシステムと音声認識システムの接続には、音声認識プログラムコードを変更する必要があるため、基本的にコードがオープンである必要がある。これらの用件を満たす音声認識エンジンとして、JULIUSを使用した。この音声認識エンジンとバーチャルリアリティシステムはソケット通信により、相互にデータの送受信を行うことで、音声によるバーチャルリアリティ空間への指示機能を実現している。
JULIUSはもともと連続音声認識を行うために作られているため、今回使用する「ある程度短い」文章の認識において、認識精度が低下する。最も頻発するのが助詞抜けによる認識率低下である。この問題に対し、発話された文章を文法的に解釈し、助詞が抜けていてもその部分を無視して認識する機構を組み込んだ.このことにより、助詞抜けによる認識エラーがなくなり,結果的に97%程度の認識率で操作可能なシステムを構築した。
平成13年度から続いた本研究では,「音による表現」と「音の認識」という双方から音情報を利用する研究を進めてきた。この研究により、これまであまり重要視されてこなかった音によるVR研究に光を当てることになればと考える。

Research Products

• [Publications] 大野暢亮, 田村祐一, 佐藤哲也: "没入型VR装置におけるボリュームレンダリング実行環境の構築"電気学会論文誌C. Vol.123-C・No.3. 633 (2003)
• [Publications] 博田達治, 田村祐一 他: "人体CT画像を利用した三次元可視化-没入型バーチャルリアリティーシステムによる人体の仮想立体モデル構築とその将来性-"形態科学. Vol.6・No.3. 67 (2003)