異言語間障壁通過のための化身話技法の開発と国際通信規格化への基礎研究

2003 年度 研究成果報告書概要

• 研究課題/領域番号: 13305026
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 情報通信工学
• 研究機関: 北海道大学
• 研究代表者: 青木 由直 北海道大学, 大学院・工学研究科, 教授 (90001180)
• 研究分担者: 長谷山 美紀 北海道大学, 大学院・工学研究科, 助教授 (00218463) ; 荒木 健治 北海道大学, 大学院・工学研究科, 教授 (50202742) ; 山本 強 北海道大学, 大学院・工学研究科, 教授 (80158287) ; 山形 積治 北海道教育大学, 旭川校, 教授 (70002623) ; 青木 直史 北海道大学, 大学院・工学研究科, 助手 (80322832) ; SAKAMOTO Yuji Hokkaido Univ., Grad.School of Eng., Assoc.Prof. (40225826) ; KANG Seok Hokkaido Univ., Grad.School of Eng., Assistant (70360930)
• 研究期間 (年度): 2001 – 2003
• キーワード: 化身話(Avatar language) / 非言語コミュニケーション / 表情作成 / 化身話チャッティング / アバタコミュニケーション / 化身話データベース / MPEG4 / 遠隔教育

研究概要

言語の壁を越えた新しい非言語コミュニケーション技法を化身話(avatar language)という概念に沿って開発し、将来このようなコミュニケーション方式の国際標準化が行われる場合に備えての知見を得ておくことを目的として基礎的研究を行った。化身話の基本となる動作や顔の表情をCG技法で制作する技法を開発し、これらの技法を用いた化身話チャッティングの有効性を検証した。開発技法を異言語間でのコミュニケーションに利用するため、日韓の化身話コミュニケーションを対象に選んでモデル実験を行い、化身話チャッティングの基礎的な知見を得た。電子メール等に使用されている顔文字と表情を結びつけるシステムを表情作成エディターと共に開発した。このシステムでは、笑っている表情の顔文字に+や++の記号を付け加えることで、漫画的に表現した顔における笑いの度合いを、目や口等の部品の形状に反映させて表情を量的に制御できるシステムの開発に成功した。その際、漫画的表情を表す部品をどのように変化させるかに関して制作方式を考案し、これをComic Action Unitと呼ぶことにして、一種の標準化の基礎にできる点を明らかにした。さらに、化身話入力システム、つまり人間の動作の入力インターフェースについても研究成果を得ている。これは、動作の際に生じる加速度を感知する加速度センサーとその信号処理を行うCPUを組み込んだものであり、空間に円や三角形を描く違いを認識して、そのような動作により表現される化身話の素動作の認識に成功している。インターネットを介した遠隔教育での化身話利用を考え、そのモデルを想定し検討を行った。化身話を携帯電話やモバイルPCで用いるために、携帯電話による通信等で化身話でのコミュニケーションが行える環境を構築し、シミュレーションにより、実用化に向けてのデータを得ることに成功した。

研究成果

• [文献書誌] Yong Who-Lee: "A Comic Facial Expression Method for Intelligent Avatar Communication in the Internet Cyberspace"大韓電子工学会論文誌. 1. 59-73 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 劉 学軍: "マルチ化身技術および仮想授業システムへの応用"信学技法. ET2002-97. 13-17 (2002)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Jin Hou: "Let the Sign Language Speak on Your Screen : An Intelligent Sign Language Synthesizing System"Proc.4^<Th> European Workshop on Image Analysis for Multimedia Interactive Services. 351-354 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Jin Hou: "Ontology-Based Social Avatar Language"Journal of Signal Processing. 7. 393-403 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Jin Hou: "A Real-Time Interactive Nonverbal Communication System Through Semantic Feature Extraction as an Interlingua"IEEE Trans on System, Man and Cybernetics. 34. 148-204 (2004)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Sang-Woon Kim, Yong-Who Lee, Y.Aoki, Y.Arakawa: "A comic expression method of universal emotions for intelligent avatar communications using principal action units"Proc.International Technical Conference on Circuit/Systems, Computer and Communications (ITC-CSCC) '01. 240-243 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Aoki: "A preliminary study on creating common sign-language communication system on the Internet"Proc.IASTED Int.Conf.Computer Graphics and Imaging (CGIM'01). 50-54 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Sang-Woon Kim, Young-Who Lee, Yoshineo Aoki: "Generation of arm-gesture and facial expression for intelligent avatar communication on the Internet"Processing of 15th International Conference on Vision Interface. 377-382 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Y.Yamada, N.Aoki, T.Yamamoto: "A study on the extraction of facial parameter based on the specification of MPEG-4"Technical Report of IEICE. IE2002-32. 13-16 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Aoki: "Semantic feature detection for real-time image transmission of sign language and finger spelling"Proc.Int.Technical Conf.Circuits/Systems, Computers and Communications (ITC-CSCC'02). vol.3. 1662-1665 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Xuejun Liu, Y.Aoki: "Construction of avatar language database and its application to distance education"Technical Report of IEICE. ITS2002-117. 197-16202 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Xuejun Liu, Y.Aoki: "Construction of avatar language database and its application to distance education"Technical Report of IEICE. ET2002-97. 187-16202 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Aoki: "A system for virtual learning with multi-avatar language technology"Technical Report of IEICE. ET2002-97. 13-17 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Koine, Y.Aoki: "When we are getting bored with text"Proc.4th European Workshop on Image Analysis for Multimedia Interactive Services (WIAMIS'03). 351-354 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Jin Hou, Yuusuke Koine, Yoshinao Aoki: "Ontology-Based Social Avatar Language"Information Technology Letters. vol.2. 279-281 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Koine, Y.Aoki: "Social avatar language in multimedia application"Journal of Signal Processing. vol.7, no.5. 393-403 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Koine, Y.Aoki: "Social avatar language in multimedia application"Proc.IASTED Int.Conf.Software Engineering and Applications (SEA'03). 763-768 (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] J.Hou, Y.Aoki: "A real-time interactive non-verbal communication system through semantic feature extraction as an interlingua"IEEE Trans.Syst., Man and Cybern.A. vol.34, No.1. 148-154 (2004)
  • 説明: 「研究成果報告書概要(欧文)」より