知識の獲得過程におけるマルチメディアコミュニケーションの実現に関する研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 07680409
• Research Category: Grant-in-Aid for General Scientific Research (C)
• Research Institution: Oita University
• Principal Investigator: 遠藤 勉 大分大学, 工学部, 教授 (10112294)
• Co-Investigator(Kenkyū-buntansha): 賀川 経夫 大分大学, 工学部, 助手 (90253773) ; 大城 英裕 大分大学, 工学部, 助手 (80194091)
• Keywords: 知識獲得 / マルチメディア / マルチモーダル / 自然言語理解 / 自然言語生成 / ジェスチャ認識 / 情報統合 / 協調理解

Research Abstract

従来より開発を進めてきた教師との対話に基づく初等数学の問題解決および知識獲得システムの対話メディアを日本語だけでなく,ダイナミックな操作を含む図形にまで拡張し,マルチメディアコミュニケーション実現の可能性を探求している。本年度は以下の研究課題に取り組んだ。
1.問題解決および知識獲得過程で必要な図形操作事例の抽出
小学校1年算数のドリルテキストの問題解決あるいは知識獲得の過程でなされる対話において必要な図形操作には大きくポインティングジェスチャ(指示)とドロ-(描画)がある。また操作の意図(機能)としては,テキスト中の対象物の指示,位置の指定,表現法の教示,解答表示などが考えられる。
2.言語メディアのみによる対話処理実験システムの開発
テキストの問題文の格構造と図形構造表現を入力すると,教師と日本語で対話をしながら問題解決と解答合成に必要なコマンド系列を組み立て,実行するシステムをワークステーション上に実現した。システムからの発話文はX-Window上のウインドウに表示され,応答文はキーボードから入力する。
3.教師の図形指示操作(ポインティングジェスチャ)の認識実験システムの開発
教師の図形指示操作を認識するプログラムを対話処理システムと同一の環境上に実現した。テキストの図形部分をウインドウに表示させ,指示や描画のためのポインティングデバイスとしてマウスを使用する。指示対象物の同定には,画面上でのマウスの停留時間と各標本点間の移動距離を特徴量として用いている。また,指示操作開始の手がかり(Clue)ならびに指示対象物の曖昧性解消のために,教師の発話文中の指示詞(「これ」,「この」,「ここ」など)や焦点情報などを利用している。

Research Products

• [Publications] 遠藤勉 渡辺有美 野中健太郎 賀川経夫 大城英裕: "知識の獲得過程における対話処理方式" 電気関係学会九州支部連合大会講演論文集. No.1340. 822 (1995)
• [Publications] 遠藤勉 野中健太郎 渡辺有美 賀川経夫 大城英裕: "問題解決過程における対話の文脈処理" 電気関係学会九州支部連合大会講演論文集. No.1341. 823 (1995)
• [Publications] 賀川経夫 大城英裕 遠藤勉: "問題解決および知識獲得過程における対話処理方式-図形操作との協調-" 電気情報通信学会技術研究報告. NLC95-36. 39-44 (1995)
• [Publications] 遠藤勉 賀川経夫 大城英裕: "初等数学の問題解決過程における対話の文脈処理" 電子情報通信学会技術研究報告. NLC95-41. 9-16 (1995)
• [Publications] H.Ohki,M.Ikebe,N.Hashimoto,T.Endo: "A Conflict Resolution of Picture Interpretation Using Result of Natural Language Processing" Proceedings of 2nd Asian Conference on Computer Vision. Vol.1. 209-213 (1995)
• [Publications] 賀川経夫 渡辺有美 佐藤元則 遠藤勉: "対話における発話と指示操作との協調理解" 1996年電子情報通信学会総合大会講演論文集. 情報・システム1. (1996)