知的通信用CG手話画像作成システム構築と通信衛星ネットワークでの手話動画伝送実験

1996 Fiscal Year Annual Research Report

• Project/Area Number: 06452237
• Research Institution: HOKKAIDO UNIVERSITY
• Principal Investigator: 青木 由直 北海道大学, 工学部, 教授 (90001180)
• Co-Investigator(Kenkyū-buntansha): 初田 健 北海道工業大学, 応用電子工学科, 教授 (10198757) ; 棚橋 真 北海道大学, 工学部, 助手 (90250480) ; 川嶋 稔夫 北海道大学, 工学部, 助教授 (20152952) ; 山本 強 北海道大学, 大型計算機センター, 教授 (80158287)
• Keywords: 手話動画像 / 知的通信 / CG3次元モデリング / 通信衛星 / テレビ会議システム / インターネット

Research Abstract

本研究の知的通信の基本は知的デコーディングとコーディングであり、手話においてこれらの処理を有効に行う方法として、直方体等の基本立体を組み合わせた3次元モデルを構成し、このモデルの2次元投影と実際の手話の動画像から画像処理により抜き出した手のシルエットとのマッチングを行うことにより手や腕の動きを解析し、関節角による手話動画像のコーディングを行う方法を新しく開発し、実験でも成功している。デコーディングはこの3次元モデルを利用して、受信後の関節角パラメータでCGアニメーションを作成すればよく、これも実験を行い手話のCGアニメーション化に成功している。この手法の難点は、手話の動画解析に時間がかかる点で、この点の改良として、腕や手にマ-カを取り付けて腕の運動の解析を容易にして、高速な処理を可能にする方法も開発した。手話のアニメーションを制作する際に、指や手の動きをなるべく自然にするため、指の骨格をニューラル・ネットワークの原理による処理を採用して、ある指の動きを他の指に伝え指の動きの自然さを出す方法についても考案し、コンピュータ・シミュレーションによりその有効性を確かめた。通信衛星JCSATを介してインターネットの利用を可能にして、この通信システムによりテレビ会議システムの構築を行い画像伝送実験に成功している。この通信衛星経由のテレビ会議システムを利用して、室蘭工業大学と通信衛星介して両大学のコンピュータ間を結んでの手話の実画像伝送実験を行い、聴覚・発声障害者による評価実験も行った。その評価実験で、今後の手話動画像伝送の研究を発展させていく上で参考になる知見が得られた。知的コーディング、衛星通信、受信後のデコーディングを一体化した研究については充分な実験ができず、今後の研究課題として残された。

Research Products

• [Publications] Kazuyoshi YOSHINO: "Recognition of Japanese Sign Language from Sequence Using Color Combination" Proc. IEEE International Conference on Image Processing (ICIP) 96. vol.1. 511-514 (1995)
• [Publications] Yoshinao Aoki: "Tracing of Arm Motion by Matching Video Image with 3D Arm Model for Intelligent Communication of Sign Language" Proc. IEEE International Conference on Electronics, Circuit, and Systems (ICECS) 96. vol.1. 53-56 (1996)