画像情報の文章表現とその報知システムへの応用に関する研究

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09558036
• Research Institution: Osaka Prefecture University
• Principal Investigator: 福永 邦雄 大阪府立大学, 工学部, 教授 (60081296)
• Co-Investigator(Kenkyū-buntansha): 小島 篤博 大阪府立大学, 総合情報センター, 助手 (80291607) ; 明石 博 (有)ソーラーリサーチ研究所, 代表取締役 ; 荻原 昭夫 大阪府立大学, 工学部, 講師 (60244654) ; 泉 正夫 大阪府立大学, 工学部, 助教授 (60223046) ; 高松 忍 大阪産業大学, 工学部, 教授 (00081290)
• Keywords: 位置・姿勢推定 / 自然言語記述 / 動作認識 / モデルベース物体認識 / 動画像認識

Research Abstract

一般のセキュリティ用監視システム、高齢者福祉家庭において援助を必要とする状態を報知する「高齢者福祉用報知システム」とか、ハンディキャップを有する人あるいは要監視患者の状態を報知する「医療・福祉における監視援助システム」において、
(1) プライバシーを損なうことなく、必要とする情報を遠隔地に通報すること
(2) 監視・観察において省力化可能であること
(3) 映像信号を遠隔地へ伝送する場合などに比べて通信コストを飛躍的に減少させることができることを目的として、対象動物体の動作・行動をテキスト形式で表し、遠隔地に報知するシステムについて検討した。
まず、対象物体として人物を想定し、ビデオカメラがとらえた映像上に現れている人物の頭部の3次元位置・姿勢を連続的に推定することにより、人物の位置・姿勢を調べる方法を示した。さらに、人物頭部の位置・姿勢の変化とともに、手とか足の動きをもとに一つのまとまった動作を認識する動作認識手法を示した。画像上で隠れが生じるときには音声認識の助けを借りて動作を認識する方法も考慮した。得られた3次元位置・姿勢の変化から得られる人物の移動、回転、座る、立ち上がるなどの基本的な動作の抽出方法と、基本動作の組み合わせから得られる一まとまりの動作、ならびに音声認識から得られる動作を格構造表現に基づく述語論理形式で表現する方法を提案した。
次に、動作環境内に置かれている調度品、什器などの物体の種類と位置関係を知識として与えておくことにより、人物の動作と対象空間に配置されている物体の位置関係から、目的とか意図を表す述語に対応する動作を推論し、結果を述語論理形態で表す。そして報知すべき形態の動作が現れたとき、述語論理表現を自然語の文章で表し、テキスト形態で報知する方法を提案した。
さらに、これらの手法の屋内の人間の生活動作を対象した場合ならびに屋外の複数人物の動作説明を対象にした場合について実験を行い、その有効性について検討した。

Research Products

• [Publications] 森隆司,泉正夫,福永邦雄: "斥力と引力を用いた物体の位置・姿勢推定に関する一手法" 電子情報通信学会論文誌. J81-D-II. 215-220 (1998)
• [Publications] 西川昇,大西正輝,松本拓夫,泉正夫,福永邦雄: "カメラ位置姿勢制御を用いたモデルベ-ス物体認識" 電気学会論文誌. 118-C. 210-216 (1998)
• [Publications] 小島篤博,田原典枝,田村武志,福永邦雄: "動画像における人物行動の自然言語による説明の生成" 電子情報通信学会論文誌. J81-D-II. 1857-1866 (1998)
• [Publications] 黄瀬浩一,小島篤博,福永邦雄: "画像,図と言語の統合" システム/制御/情報. 41. 520-527 (1997)
• [Publications] A.Ogihara and S.Asano: "An isolated Word Speech Recoguition Based on Fusion of Visual and Auditory Information Using 30-frame/s and 24-bit Color Imag" IEICE Trausactions. E80-A. 1417-1422 (1997)
• [Publications] 福永邦雄・泉正夫・萩原昭夫: "コンピュータ通信とネットワーク(第3版)" 共立出版(株), 284 (1998)