|
本研究では、オノマトペを用いた新しいヒューマンコンピュータインタラクション手法を提案し、それを実現する複数のシステムを作成、評価、発表した。オノマトペとは「ざわざわ」「ぐるぐる」といった擬音語・擬態語のことで、日常的な会話や文章の中で多く用いられている。オノマトペは、ものの様子や動き、感覚、感情を活き活きと表現できることや、柔らかく親しみやすい表現といったことが特徴となっている。このオノマトペをインタフェースに採り入れることで、コンピュータが苦手としてきた「感覚的」で「親しみやすい」インタフェースを実現することが本研究の目的である。そこで本研究では「オノマトペを声に出しながらポインティングすることで、そのオノマトペに応じた操作を行える」というマルチモーダルインタラクション手法を提案し、具体的な応用として、ペイントシステムとゲーム操作に本提案手法を適用した。まず、質感を表すオノマトペを音声入力することで、その質感のブラシで描くことのできるペイントシステム「オノマトペン」を作成した。例えば点線を描きたい場合、「てんてん～」と言いながらペンやマウスで線を引くと点線を描ける。オノマトペンによって「日常的な言葉で質感や状態を表現する」「ボタンを使わず素早く感覚的にブラシや機能を切り替える」といった操作を実現した。さらに、日本語のオノマトペだけでなく、英語や韓国語のオノマトペにも対応した。次に、動きを表すオノマトペを音声入力することでキャラクターを操作する横スクロール型のアクションゲームを作成した。例えば「シュシュッ」と言うと忍者風のキャラクターが手裏剣を投げ、「ぴょーん」と言うとジャンプするといった操作方法になっている。このような操作によって「動きを表すオノマトペを用いたリアルタイムな操作」「音声によって素早く複数の道具を使い分ける」といったオノマトペや音声の特徴を活かした新しい遊び方を実現した。また、これらのシステムをユーザテストによって評価した後、国内および国際学会で発表した。
|
