意味レベルのインタラクションに基づく発話とジェスチャの協調理解に関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10680388
• Research Institution: Oita University
• Principal Investigator: 遠藤 勉 大分大学, 工学部, 教授 (10112294)
• Co-Investigator(Kenkyū-buntansha): 賀川 経夫 大分大学, 工学部, 助手 (90253773)
• Keywords: 意味処理 / マルチメディア / マルチモーダル / 自然言語理解 / ヒューマンインタフェース / ジェスチャ認識 / 情報統合 / 協調理解

Research Abstract

初等数学の世界を対象として現在開発中の対話支援型問題解決/知識獲得システムの教師の教示動作(発話文およびこれと同期した指示や例示などのジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行うことにより,発話とジェスチャを併用した人間指向型ヒューマンインタフェースの有効性と実現可能性を明らかにすることを目的として,前年度に引き続き,今年度は以下の研究課題に取り組んだ。
1.ジェスチャ認識の実時間処理
パソコンに動画像追跡ボードを付加し,ジェスチャの実時間認識を試みた。ジェスチャは教師がペンを用いてドリルテキスト上で行う指示や例示動作である。認識は解決すべきテキストに対して45°の角度で鏡を立て,カラーCCDカメラをテキストの真上に設置し,ペン先の3次元座標が検出できるような環境で行う。ジェスチャによって変化するペン先の位置をカラー相関演算によって実時間で追跡する。得られた3次元座標系列の空間的・時間的変化パターンから,指示物の同定や,「囲む」,「線を引く」などの基本アクションをインクリメンタルに認識するプログラムを開発した。
2.連続音声認識方式による音声発話文の認識
前年度までのシステムによる発話文の認識は文節単位で行われており,教師は応答文を文節単位に区切って発話する必要があった。対話におけるこの不自然性を解消するために,連続音声認識ソフトウェアを導入して,本システムへの組込を試みた。予備実験により十分に使用可能であるとの見通しを得た。
3.マルチモーダル対話における情報統合方式の検討
問題解決・発話命題と様相の生成,CGによるジェスチャ生成,ジェスチャ認識,音声認識の各モジュールはLANで接続された複数台のコンピュータ上で動作している。データ量や実時間性などの情報の性質ならびに通信方式(ファイル渡し,ソケット通信など)の特徴に基づいて情報統合方式を検討した。

Research Products

• [Publications] 嶋田和孝 遠藤勉: "製品性能表からの特徴データの抽出"情報処理学会研究報告. NL-133. 107-113 (1999)
• [Publications] 阿部慎也 賀川経夫 遠藤勉: "マルチモーダル対話における背景要素との関係構造に基づくジェスチャ解析の一手法"電子情報通信学会技術研究報告. PRMU99-155. 39-46 (1999)
• [Publications] 賀川経夫 森田光雄 石橋雄二 遠藤勉: "マルチモーダル対話における発話文生成とジェスチャ生成に関する一考察"電子情報通信学会技術研究報告. PEMU99-156. 47-54 (1999)
• [Publications] 賀川経夫 阿部慎也 遠藤勉: "マルチモーダル対話システムにおける複数モダリィティの統合と解釈に関する一検討"情報処理学会「マルチメディア通信と分散処理」 ワークショップ論文集. 99巻・18号. 19-24 (1999)
• [Publications] 嶋田和孝 遠藤勉: "特徴化された表データからの要約文生成処理"電子情報通信学会技術研究報告. TL99-29. 25-31 (1999)
• [Publications] 佐藤辰雄 前山田信 遠藤勉: "マルチスペクトルレンジファインダのキャリブレーションに関する検討"電子情報通信学会技術研究報告. PRMU99-164. 101-108 (1999)