意味レベルのインタラクションに基づく発話とジェスチャの協調理解に関する研究

1998 Fiscal Year Annual Research Report

• Project/Area Number: 10680388
• Research Institution: Oita University
• Principal Investigator: 遠藤 勉 大分大学, 工学部, 教授 (10112294)
• Co-Investigator(Kenkyū-buntansha): 賀川 経夫 大分大学, 工学部, 助手 (90253773)
• Keywords: 意味処理 / マルチメディア / マルチモーダル / 自然言語理解 / ヒューマンインタフェース / ジェスチャ認識 / 情報統合 / 協調理解

Research Abstract

初等数学の世界を対象として現在開発中の対話支援型問題解決/知識獲得システムの教師の教示動作(発話文およびこれと同期した指示や例示などのジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行うことにより,発話とジェスチャを併用した人間指向型ヒューマンインタフェースの有効性と実現可能性を明らかにすることを目的として,今年度は以下の研究課題に取り組んだ。
1. 発話文およびジェスチャの統一的意味記述形式の検討
発話文とジェスチャによって伝達される意味内容を記述するために図形操作表現フレームと事物フレームを定義した。前者は事象概念を格構造で表現したものであり,後者は事象に関わる事物概念を表している。
2. ジェスチャにおける3次元位置座標の検出と特徴抽出アルゴリズムの開発
ジェスチャ認識は教師のペン先の位置の空間的・時間的変化パターンに着目して行う。まず,問題解決すべきドリルテキストに対して45ﾟの角度で鏡を立て,カラーCCDカメラをテキストの真上に設置し,ペン先の3次元座標が検出できるような環境を構築した。次に,ペン先の座標系列から特徴を抽出し,指示物の同定や,「囲む」,「線を引く」などの基本アクションを認識するプログラムを開発した。
3. 音声発話とジェスチャの協調認識方式の検討
音声認識装置により得られた発話文の認識候補系列とジェスチャ認識により得られた結果を統合して,最終的な結果である図形操作表現フレームと事物フレームを生成するプログラムを開発した。
4. コンピュータグラフィックス(CG)によるジェスチャ生成プログラムの開発
システムが教師と対話したり問題解決するときに必要となる「指示」,「囲む」,「結ぶ」,「数字を書く」,「塗る」などのジェスチャをCGアニメーションにより生成するプログラムを開発した。

Research Products

• [Publications] 高津勝昭 尾上幸太 賀川経夫 遠藤勉: "ジェスチャとの協調を考慮した音声発話文の解釈候補抽出のための一手法" 電気関係学会九州支部連合大会講演論文集. No.354. 172 (1998)
• [Publications] 石橋雄二 村上喜昭 賀川経夫 遠藤勉: "マルチモーダル対話におけるジェスチャ生成の一手法" 電気関係学会九州支部連合大会講演論文集. No.424. 204 (1998)
• [Publications] 阿部慎也 吉岡朋美 賀川経夫 遠藤勉: "マルチモーダル対話におけるジェスチャ解析の一手法" 電気関係学会九州支部連合大会講演論文集. No.425. 205 (1998)
• [Publications] 賀川経夫 高津勝昭 尾上幸太 遠藤勉: "マルチモーダル対話を用いた問題解決システムにおける音声発話文解析処理" 電子情報通信学会技術研究報告. TL98-16. 33-40 (1998)
• [Publications] 賀川経夫 阿部慎也 吉岡朋美 遠藤勉: "マルチモーダル対話における発話文との統合を考慮したジェスチャ解析に関する一考察" 電子情報通信学会技術研究報告. PRMU98-167. 133-140 (1998)
• [Publications] T.Endo, T.kagawa: "Cooperative Understanding of Utterances and Gestures in a Dialogue-Based Problem Solving System" Computational Intelligence. Vol.15 No.2. 152-168 (1999)