• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Investigation on Variations in use of Fingerspelling Alphabet (JSL) combined with Pattern Recognition

Research Project

Project/Area Number 17K02759
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Linguistics
Research InstitutionKindai University

Principal Investigator

Hasegawa Yumi  近畿大学, 生物理工学部, 准教授 (40585220)

Co-Investigator(Kenkyū-buntansha) 本田 久平  大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
田中 省作  立命館大学, 文学部, 教授 (00325549)
Project Period (FY) 2017-04-01 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2019: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2018: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywords手話 / 指文字 / パターン認識 / ゆらぎ / 教材開発 / 手指形状 / 誤りデータ / 教材 / 指文字の表出 / 指文字の読み取り / 手指形状のゆらぎ / 読み取り / 表出 / 3次元データ / コンピュータビジョン / 言語学 / 手話(指文字)
Outline of Final Research Achievements

In this study, we tried to identify the essential or intrinsic shape of each of the 41 fingerspelling letter by the observational point of view (i.e. seeing them with the eyes) and the informational point of view (i.e. using pattern recognition technology). The essential shape here is, for example, what finger and hand shapes make it possible to know that the fingerspelling alphabet "a" is "a". We analyzed the data by OpenPose to estimate the position of the joints of the hands, by Leap Motion, and by some infrared cameras to calculate the distances and directions from the center of the hand to each fingertip. Using these data, we also created a fingerspelling booklet for beginning leaners of Japanese Sign Language.

Academic Significance and Societal Importance of the Research Achievements

手話を学習している人や、手話をコミュニケーション方法としている聴覚障がい者の指文字のデータを集め、各指文字の本質的な形を明らかにすることができた。その目的を達成する過程で得たデータを使って、初めて手話を学ぶ人が、学習をスムーズにスタートできるように指文字学習小冊子「指文字in JSL」を作成した。複数の写真やイラストが使われているので、手の形をまねやすく、間違えた手の形を覚えてしまわないように工夫されている。また、同じ文字でも人によって少しちがう様子も見ることができ、今までにない教材作りができた。大学の授業や地域の手話サークルで使う予定であり、大学内のみならず、地域での活動にも利用できる。

Report

(5 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (10 results)

All 2021 2020 2019 2018 2017

All Journal Article (1 results) Presentation (9 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] ネットワーク分析に基づいた日本手話初学者の指文字読取の誤り分析2021

    • Author(s)
      田中 省作, 本田 久平, 長谷川 由美
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 1 Pages: 00-00

    • Related Report
      2020 Annual Research Report
  • [Presentation] 指文字学習支援システムの開発2021

    • Author(s)
      徳永和彦, 本田久平, 長谷川由美, 田中省作
    • Organizer
      令和2年度電気学会九州支部高専研究講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 全国手話検定試験で学ぶ基本単語に関する一考察 親密度と出現頻度の観点から2020

    • Author(s)
      長谷川由美
    • Organizer
      第46回全国日本手話学会大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 部分形状に着目した学習のための日本手話の指文字の新しい類型化2019

    • Author(s)
      田中省作, 長谷川由美
    • Organizer
      第92回外国語教育メディア学会中部支部研究大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 多変量解析を活用した日本手話初学者の指文字の誤り分析2019

    • Author(s)
      田中省作, 本田久平, 長谷川由美
    • Organizer
      日本教育工学会 2019年秋季全国大会(第35回)
    • Related Report
      2019 Research-status Report
  • [Presentation] 誤りデータを考慮した多次元尺度構成法による指文字の布置2019

    • Author(s)
      田中省作、本田久平、長谷川由美
    • Organizer
      情報処理学会九州支部火の国情報シンポジウム2019
    • Related Report
      2018 Research-status Report
  • [Presentation] Unityを用いた手指計測データ管理システムの構築2019

    • Author(s)
      宇都宮優佳、本田久平、長谷川由美、田中省作
    • Organizer
      平成30年度電気学会九州支部高専研究講演会
    • Related Report
      2018 Research-status Report
  • [Presentation] OpenPoseによる指文字認識に関する研究2018

    • Author(s)
      浜野遼太郎・熊代明・本田久平・長谷川由美・田中省作
    • Organizer
      電気・情報関係学会九州支部第71回連合大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 指文字認識を用いたロボット操作に関する研究2017

    • Author(s)
      矢野将彦、本田久平、長谷川由美、田中省作
    • Organizer
      第70回電気・情報関係学会九州支部連合大会
    • Related Report
      2017 Research-status Report
  • [Presentation] Hand Gesture Recognition for Robot Control Using the Leap Motion Controller2017

    • Author(s)
      Kyuhei. Honda, Masahiko. Yano, Yumi. Hasegawa, Shosaku. Tanaka,
    • Organizer
      The 5th IIAE International Conference on Intelligent Systems and Image Processing 2017
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2017-04-28   Modified: 2022-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi