意味レベルのインタラクションに基づく発話とジェスチャの協調理解に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 10680388
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 遠藤 勉 九州工業大学, 情報工学部, 教授 (10112294)
• Keywords: 意味処理 / マルチメディア / マルチモーダル / 自然言語理解 / ヒューマンインタフェース / ジェスチャ認識 / 情報統合 / 協調理解

Research Abstract

初等数学の世界を対象として開発中の対話支援型問題解決システムの教師の教示動作(発話文と指示や例示等のジェスチャ)を意味解釈するアルゴリズムの開発と実験的評価を行い,発話とジェスチャを併用したインタフェースの有効性と実現可能性を明らかにすることを目的として,今年度は以下の研究課題に取り組んだ。
1.問題解決部と対話制御部の統合
Prologで実装されていた問題解決部とC言語で実装されていた対話制御部(発話およびジェスチャの協調理解部ならびに協調生成部)を統合するために,問題解決部をC++言語で全面的に書き改めた。さらに,文字ベースの対話制御部をC++言語で新たに開発し,問題解決部と結合することで,小学校1年算数のドリルテキストの問題16個を対話を交えて解決できることを確認した。以上より,前年度までに開発した発話とジェスチャの協調理解サブシステムを問題解決部に統合する見通しが得られた。
2.システムの知識ベースの再構築
対話支援型問題解決システムをオブジェクト指向型言語C++で書き改める際に,問題解決のためのコマンド群,単語辞書,格フレーム,図形構造表現,意味素性の階層構造等の記述形式とアクセス方式の見直しを行い,これらの情報が各サブシステムから参照でき,修正や追加が容易に行えるように改良した。
3.マルチモーダルインタフェースとしての評価
音声合成装置による発話とCGによるジェスチャを並行して生成するために,命題情報と発話意図を含むマルチモーダル意味表現,意味のあるジェスチャパターン(指示,囲む,結ぶ等)を記述したジェスチャフレーム,実際のペンの動きに対応したジェスチャ要素と呼ぶ3種類のデータ構造を定義し,生成アルゴリズムを開発した。協調理解サブシステムと生成サブシステムを交互に動作させる実験を通して,処理時間や同期等に問題が残るものの,文字ベースのみの場合と比べて使い勝手が向上することが確認できた。

Research Products

• [Publications] 遠藤勉,賀川経夫,嶋田和孝: "対話支援型問題解決システムにおける発話文生成機構と文脈処理"電子情報通信学会論文誌DII. J83-D-II巻8号. 152-169 (2000)
• [Publications] 森田光雄,賀川経夫,伊藤哲郎,遠藤勉: "マルチモーダル対話におけるペン動作の生成手法に関する一考察"第53回電気関係学会九州支部連合大会講演論文集. No.1061. 545 (2000)
• [Publications] 賀川経夫,阿部慎也,伊藤哲郎,遠藤勉: "マルチモーダル対話におけるテキストを対象としたペン動作の解析の一手法"第53回電気関係学会九州支部連合大会講演論文集. No.1110. 558 (2000)
• [Publications] 嶋田和孝,伊藤哲郎,遠藤勉: "表層的な情報を用いた画像の内容特定と分類"情報処理学会研究報告. 2000-NL-139. 55-60 (2000)
• [Publications] 賀川経夫,遠藤勉: "ペンを利用したマルチモーダル対話におけるペン動作生成の一検討"電子情報通信学会技術研究報告. IE2000-81. 23-30 (2000)