• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2000 Fiscal Year Final Research Report Summary

Development of Technologies and Their Integration for Practical Use of a System That Mutually Translates between Japanese Sign Language and Japanese

Research Project

Project/Area Number 10480072
Research Category

Grant-in-Aid for Scientific Research (B).

Allocation TypeSingle-year Grants
Section一般
Research Field Intelligent informatics
Research InstitutionKyoto Institute of Technology

Principal Investigator

KUROKAWA Takao  Kyoto Institute of Technology, Graduate School of Science and Technology Professor, 工芸科学研究科, 教授 (00029539)

Co-Investigator(Kenkyū-buntansha) OGATA Masahito  Kyoto Institute of Technology, Graduate School of Science and Technology Research Associate, 工芸科学研究科, 助手 (50273545)
Project Period (FY) 1998 – 2000
KeywordsJapanese Sign Language / Machine interpretation / Japanese / Facial expression / Human model / Image synthesis-by-rule / Sign animation
Research Abstract

This research aimed at improving communication environments for the auditorily impaired by means of a system that mutually translated Japanese Sign Language (JSL) into Japanese and vice versa. For the purpose we developed elemental technologies and integrated many of them into one system that transformed Japanese sentences into ISL ones.
(1) A sign sentence database was build base on a corpus of video images taken from TV Sign News. We used it to find JSL grammatical rules concerning verbs, pointing, tense and so on. We also discovered semantic and syntactic rules of nonmanual expressions accompanying manual signs including eye opening, nodding and blinking.
(2) A method of recognizing manual signs using a neural network and finite automata, each of which could accept a specific sign word was studied and we achieved a recognition rate of 75 to 80% of JSL words.
(3) As for language processing for Japanese-into-JSL translation, we proposed a new framework using case frames which represented the semantic structure of a Japanese or a JSL sentence. In the framework a case frame of a Japanese sentence was transformed into one of the corresponding JSL sentence. The JSL expression in symbolic lists could easily be derived from the sign case frame and, therefore, its sign animation could be synthesized at once. Besides, we realized to synthesize animations that were correct from the standpoint of some grammatical rules.
(4) A human model used for sign animations was improved in order for its three dimensional movement to be easily judged. Complicated trajectories of the hands in the three dimensional space were programmed and each of them was represented by a simple code.
(5) The above technologies were integrated in a system and it was going to be applied to medical environments such as instruction to the hearing impaired in stomach X-ray inspection.

  • Research Products

    (56 results)

All Other

All Publications (56 results)

  • [Publications] 河野純大: "手話ニュースにおける表情の特性分析"Human Interface News and Report. 13,2. 287-292 (1998)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 伊藤徹也: "手話アニメーションのための自然な手の運動の生成と表現"第14回ヒューマン・インタフェース・シンポジウム論文集. 181-186 (1998)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 中田祐介: "手話アニメーションを使った聴覚障害者のための胃レントゲンシステムの提案"1998年度日本人間工学会関西支部大会講演論文集. 109-112 (1998)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 黒川隆夫: "表情と顔面運動の精細表現が可能な手話アニメーション表示用人物モデル"京都工芸繊維大学地域共同研究センター研究成果報告書. 7. 1-8 (1998)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "手話ニュース通訳者の表情の構成要素に関する検討"京都工芸繊維大学地域共同研究センター研究成果報告書. 7. 9-14 (1998)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] Kawano,S.: "The effects of facial expression on understanding Japanese sign language animation"Human-Computer Interaction. 1. 783-787 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] Fujishige,E.: "Recognition of Japanese sign language words using finite automata"Human-Computer Interaction. 2. 167-171 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 森本一成: "聴覚障害者の胃部レントゲン検査のための手話アニメーションによる指示のわかりやすさ"ヒューマンインタフェースシンポジウム'99論文集. 725-730 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] Jan,K.: "ニューラルネットワークとオートマトンを用いた日本語手話単語の認識"ヒューマンインタフェースシンポジウム'99論文集. 755-760 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "ニュースを内容とする手話画像の理解における表情の効果"ヒューマンインタフェースシンポジウム'99論文集. 761-766 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 藤重栄一: "ニューラルネットワークとオートマトンを用いた日本手話単語の認識"京都工芸繊維大学地域共同研究センター研究成果報告書. 8. 39-44 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "ニュースを表現した手話画像の理解における表情の効果"京都工芸繊維大学地域共同研究センター研究成果報告書. 8. 45-50 (1999)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "日本語文節列からの手話アニメーションの規則合成"ヒューマンメディア研究会講演資料集. 9-14 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 黒川隆夫: "手話と日本語の相互翻訳の試み-日本語から手話への変換を中心に"第5回関西情報関連学会連合講演会論文集. 25-34 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 黒川隆夫: "手話における表情の役割と日本語手話翻訳におけるその応用"第39回計測自動制御学会学術講演予稿集. (CD-ROM). (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 渋谷佳久: "文構造と文脈を反映した手話文の規則合成"ヒューマンインタフェースシンポジウム2000論文集. 173-176 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "手話と日本語における発話時の表情の違いについて"ヒューマンインタフェースシンポジウム2000論文集. 177-180 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 出村友裕: "手話文データベースの構築とそれを利用した手話文法解析"ヒューマンインタフェースシンポジウム2000論文集. 185-188 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 河野純大: "表情を含む手話画像の生成と手話理解への表情の効果"電子情報通信学会技術研究報告. HIP2000,10. 31-36 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 黒川隆夫: "ノンバーバルインタフェースと今後の展開"電子情報通信学会技術研究報告. HIP2000,10. 49-54 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 小川圭一: "手話の自然さに関する考察-手指動作の速度パターンを中心に-"電子情報通信学会第3回手話情報学研究会報告集. 33-36 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 出村友裕: "手話文データベースを利用した中間型手話における指差しの解析"電子情報通信学会第3回手話情報学研究会報告集. 37-40 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 渋谷佳久: "手話画像合成への非手指動作の文構造表現機能と動詞の一致の導入"電子情報通信学会第3回手話情報学研究会報告集. 41-42 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 出村友裕: "手話文データベースの構築と応用"電子情報通信学会第3回手話情報学研究会報告集. 43-44 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 黒川隆夫: "日本語手話自動翻訳のための表情分析と手話画像生成"京都工芸繊維大学地域共同研究センター研究成果報告書. 9. 27-34 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 内川顕太郎: "胃部レントゲン検査に用いる聴覚障害者のための手話アニメーションの評価"平成12年度日本人間工学会関西支部大会講演論文集. 16-21 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] 安西祐一郎: "自己の表現(マルチメディア情報学10)"岩波書店. 311 (2000)

    • Description
      「研究成果報告書概要(和文)」より
  • [Publications] S.Kawano: "An Analysis of Characteristics of Facial Expression of a Sign Language Interpreter of TV News"Human Interface News and Report. 13. 287-292 (1998)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Ito: "Synthesis and Representation of Natural Hand Movements for Sign Animation"Proc.14th Symp on Human Interface. 181-186 (1998)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] Y.Nakata: "A Proposal of Stomach X-ray System with Sign Language Animation for Deaf People"Proc.1998 Conf.of Kansai Branch, Japan Ergonomics Association. 109-112 (1998)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "A New Human Model Able to Represent Facial Expression and Movement for Sign Animation"Research Report of Cooperative Research Center, KIT. 7. 1-8 (1998)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "An Examination of an Element Constituting a Facial Expression of a Sign Language Interpreter of TV News"Research Report of Cooperative Research Center, KIT. 7. 9-14 (1998)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Kawano: "The Effects of Facial Expression on Understanding Japanese Sign Language Animation"Human-Computer Interaction. 1. 783-787 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "Nonverbal Interfaces and Perspective of Them in the Near Future"Technical Report of IEICE. HIP2000-30. 49-54 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Morimoto: "Comprehensibility of Instruction by Sign Language Animation for Hearing-Impaired People in Stomach X-Ray Inspection"Proc.1999 Human Interface Symposium. 725-730 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Jan: "Recognition of Japanese Sign Language Words Using a Neural Network and Finite Automata"Proc.1999 Human Interface Symposium. 755-760 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "The Effects of Facial Expression on Understanding of Sign Language Animation Conveying News"Proc.1999 Human Interface Symposium. 761-766 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] E.Fujishige: "Recognition of Japanese Sign Language Words Using a Neural Network and Finite Automata"Research Report of Cooperative Research Center. 8. 39-44 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "The Effects of Facial Expression on Understanding of Sign Language Animation Conveying News"Research Report of Cooperative Research Center. 8. 45-50 (1999)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "Synthesis-by-Rule of Sign Animation from a Sequence of Japanese Phrases"Proc.1st Research Conf.on Human Media. 9-14 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "A Trial of Mutual Translation between Sign Language and Japanese-Focusing on Transformation of Japanese into Sign Language"Proc.5th Joint Conf.of Information Processing Assocs in Kansai. 25-34 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "Roles of Facial Expression in Japanese Sign Language and Their Application to Japanese-into-JSL Translation"Prol.SICE 2000. CD-ROM. (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] Y.Shibuya: "Synthesis-by-Rule of Sign Sentences Reflecting Sentence Structure and Context"Proc.2000 Human Interface Symposium. 173-176 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "On Differences of Facial Expression between Utterances in Japanese Sign Language and Japanese"Proc.2000 Human Interface Symposium. 177-180 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Demura: "Building a Database of Japanese Sign Language (JSL) Sentences and Its Application to Analysis of JSL Grammar"Proc.2000 Human Interface Symposium. 185-188 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] S.Kawano: "Synthesis of Sign Animation with Facial Expression and Its Effects on Understanding of Sign Language"Technical Report of IEICE. HIP2000-30. 31-36 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "Nonverbal Interfaces and Perspective of Them in the Near Future"Technical Report of IEIC. HIP2000-30. 49-54 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Ogawa: "Considerations on Naturalness of Sign Language-Focusing on Patterns of Manual Sign Speed"Proc.3rd Research Conf.on Informatics of Sign Language. 33-36 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Demura: "Analysis of Deictics in Japanese Sign Language (JSL) by Using a Database of JSL Sentences"Proc.3rd Research Conf.on Informatics of Sign Language. 37-40 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] Y.Shibuya: "Introduction of Sentence Structure Representing Function of Nonmanual Gestures and Coincidence of Verbs into Synthesis of Sign Animation"Proc.3rd Research Conf.on Informatics of Sign Language. 41-42 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Demura: "Building a Sign Sentence Database and Its Application and Its Effects"Proc.3rd Research Conf.on Informatics of Sign Language. 43-44 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Uchikawa: "Sign Animation for Instruction to the Hearing Impaired in Stomach X-Ray Inspection"Proc.3rd Research Conf.on Informatics of Sign Language. 45-46 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] T.Kurokawa: "Analysis of Facial Expression and Synthesis of Sign Animation for Translating Japanese into Japanese Sign Language"Research Report of Cooperative Research Center. KIT, 9. 27-34 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Uchikawa: "Evaluation of Sign Animation for Hearing-Impaired People in Stomach X-Ray Inspection"Proc.2000 Conf. of Kansai Branch, Japan Ergonomics Association. 16-21 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] K.Morimoto: "Evaluation of Japanese Sign Language Animation for Hearing-Impaired People in Stomach X-Ray Inspection"Reports of Human Interface Association. 2-5. 15-20 (2000)

    • Description
      「研究成果報告書概要(欧文)」より
  • [Publications] Y.Anzai: "Iwanami Shoten"Self-Expression. 311 (2000)

    • Description
      「研究成果報告書概要(欧文)」より

URL: 

Published: 2002-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi