知識の獲得過程におけるマルチメディアコミュニケーションの実現に関する研究

1997 Fiscal Year Annual Research Report

• Project/Area Number: 07680409
• Research Institution: Oita University
• Principal Investigator: 遠藤 勉 大分大学, 工学部, 教授 (10112294)
• Co-Investigator(Kenkyū-buntansha): 賀川 経夫 大分大学, 工学部, 助手 (90253773) ; 大城 英裕 大分大学, 工学部, 助手 (80194091)
• Keywords: 知識獲得 / マルチメディア / マルチモーダル / 自然言語理解 / 自然言語生成 / ジャスチャ認識 / 情報統合 / 協調理解

Research Abstract

前年度の研究成果に基づき,本年度は以下の研究課題に取り組んだ。
1.対話支援型問題解決過程における知識獲得方式の検討
初等数学の具体的な問題を解決する過程で作成され,実行されたコマンド系列はインスタンススレ-ムとして保存される。蓄積されたフレーム群中のパラメータスロットの類似性に着目して,個々のコマンドのパラメータの制約条件を一般化する方法,ならびにコマンドの共起関係や実行順序などに着目して,問題解決過程を問題解決フレームとしてまとめる方法について検討した。
2.対話支援型問題解決過程における発話とジェスチャの協調理解
教師が机上のテキスト上でペンを使って行ったジェスチャ(指示操作や描画操作)はペン先の移動軌跡として表現される。CCDカメラで取り込まれた動画像データから抽出された軌跡(点列)を点列の移動速度や曲率などに基づいてセグメントに分割し,各セグメントの形状特徴を計算するプログラムを開発した。さらに,ジェスチャと対になる発話文の言語情報および脈情報とセグメントの形状情報や順序関係を統合することにより,ジェスチャの意味を解釈するアルゴリズムを提案した。また,システムが発話と並行して行うジェスチャの生成方式についても検討した。
3.個人同定ならびに表情認識のための顔領域検出
マルチメディアコミュニケーションの実現のためには顔の表情も重要な情報となる。そこで,目,口,鼻を顔領域の部分特徴と考え,これらの位置を高次局所自己相関特徴と線形判別法を用いて抽出するプログラムを開発した。顔領域を検出するにはすべての部分特徴が同時に抽出される必要があるため,部分特徴の空間的位置関係を適合度とした遺伝的アルゴリズムを適用して最適な部分特徴を探索した。実験の結果,正立平常顔で96.8%,変化顔で92%の検出率が得られた。

Research Products

• [Publications] T.Endo, T.Kagawa: "Coperative Understanding of Utterances and Gestures in Dialogue-Based Problem Solving System" Proceedings of 3rd Conferences of the Pacific Association for Computational Linguistics. 113-123 (1997)
• [Publications] 佐藤辰雄 三浦喜穂孝 福田陽子 大城英裕 遠藤勉: "部分特徴を用いた顔領域検出と顔画像の認識" 電子情報通信学会技術研究報告. PRMU97-70. 103-110 (1997)
• [Publications] 賀川経夫 西山泰幸 遠藤勉: "対話支援型問題解決システムにおけるジェスチャ解析の一手法" 第55回情報処理学会全国大会講演論文集. 分冊2. 250-251 (1997)
• [Publications] 高津勝昭 石橋雄二 賀川経夫 遠藤勉: "対話支援型問題解決システムにおける音声入力を用いた言語処理に関する一手法" 電気関係学会九州支部連合大会講演論文集. No.616. 288 (1997)
• [Publications] 三浦喜穂孝 佐藤辰雄 福田陽子 賀川経夫 遠藤勉: "GAを用いた顔画像部分特徴抽出における適合度評価関数の検討" 電気関係学会九州支部連合大会講演論文集. No.207. 63 (1997)
• [Publications] 石橋雄二 賀川経夫 遠藤勉: "マルチモーダル対話のためのジャスチャ生成に関する考察" 電子情報通信学会技術研究報告. NLC97. (1997)