知識の獲得過程におけるマルチメディアコミュニケーションの実現に関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 07680409
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Oita University
• Principal Investigator: 遠藤 勉 大分大学, 工学部, 教授 (10112294)
• Co-Investigator(Kenkyū-buntansha): 賀川 経夫 大分大学, 工学部, 助手 (90253773) ; 大城 英裕 大分大学, 工学部, 助手 (80194091)
• Keywords: 知識獲得 / マルチメディア / マルチモーダル / 自然言語理解 / 自然言語生成 / ジェスチャ認識 / 情報統合 / 協調理解

Research Abstract

前年度の研究成果に基づき,本年度は以下の研究課題に取り組んだ。
1. 対話支援型問題解決過程における知識獲得方式の検討
対話により獲得する知識を,教師のもつ問題解決のための経験則的知識と考え,具体的に(1)コマンドのパラメータの制約条件,(2)コマンドの共起関係,(3)問題のタイプ毎のコマンド系列のパターンとした。これらを蓄積するためのスロットをコマンドフレームに追加するとともに,新たに問題解決フレームを導入した。さらに,対話を繰り返すことにより知識が確定的なものになっていく過程を確信度と呼ぶパラメータで表現した。既存の対話処理プログラムに確信度の更新手続きならびに確信度に基づく発話文生成手続きを追加して実験を行い,その有効性を確かめた。
2. 教師のポインティングジェスチャ動画像の認識
ビデオカメラを机上の状況を観測できる位置に固定し,机上のデキストならびに教師の指(またはペン)によるポインティングジェスチャや描画動作を一連の動画像データとして取り込めるような環境を構築した。まず,カメラ入力によるテキストのみの画像とスキャナ入力によるテキスト画像との座標の対応付けを行うプログラムを開発した。これがジェスチャの背景画像となる。次に,背景画像との現画像との差分処理,しきい値処理,領域特徴抽出処理により,指(ペン)の位置の軌跡を検出するプログラムを開発した。
3. 図形メディアと言語メディアとの対応付け
画像データとして取り込まれた教師のジェスチャと,同時になされる発話文の意味構造を対応付けることにより,教師の伝えたい情報を決定するための方式について検討した。決定に当たっては,対話と問題解決過程の履歴を保存した文脈情報を利用している。さらに,対話を音声で行うための認識予備実験を行い,現在の初等数学の知識獲得というタスクにおいては,十分に利用できる見通しを得た。

Research Products

• [Publications] 遠藤勉 鳥居三朗 賀川経夫: "対話支援型問題解決システムにおける知識表現と推論方式" 電子情報通信学会技術研究報告. TL96-4. 1-10 (1996)
• [Publications] 賀川経夫 渡辺有美 遠藤勉: "言語情報を用いた図形操作の解釈に関する一考察" 電子情報通信学会技術研究報告. TL96-5. 11-20 (1996)
• [Publications] 鳥居三朗 嶋田和孝 賀川経夫 遠藤勉: "対話支援型問題解決過程における知識獲得方式" 電気関係学会九州支部連合大会講演論文集. No.1331. 693- (1996)
• [Publications] 渡辺充晃 賀川経夫 遠藤勉: "対話支援型問題解決システムにおけるマルチモーダルインタフェースに関する考察" 電気関係学会九州支部連合大会講演論文集. No.1448. 760- (1996)
• [Publications] 賀川経夫 渡辺有美 遠藤勉: "言語解析処理との協調を考慮した図形操作の解釈のための一手法" 電気関係学会九州支部連合大会講演論文集. No.1611. 845- (1996)
• [Publications] 佐藤辰雄 丸田喜久子 三浦喜穂孝 遠藤勉: "パターンマッチングによる顔画像の部分特徴の抽出" 1997年電子情報通信学会総合大会講演論文集. 情報・システム2. (1997)