• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a learning system for fingerspelling alphabets in a sign language as an integrated study of SLA, CV and NLP

Research Project

Project/Area Number 17K18678
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Research Field Education and related fields
Research InstitutionRitsumeikan University

Principal Investigator

Tanaka Shosaku  立命館大学, 文学部, 教授 (00325549)

Co-Investigator(Kenkyū-buntansha) 本田 久平  大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
長谷川 由美  近畿大学, 生物理工学部, 准教授 (40585220)
Project Period (FY) 2017-06-30 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2018: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2017: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywords日本手話 / 指文字 / 学習システム / 第二言語習得 / コンピュータ・ビジョン / 自然言語処理 / 誤り分析 / 多変量解析 / くずれ / 類型 / クラスタ分析 / 手指形状 / 手指形状データ / 手話 / コンピュータビジョン
Outline of Final Research Achievements

In this project, a web system was developed to learn fingerspelling alphabets in Japanese sign language. First, data pertaining to the shapes of fingerspelling alphabets were recorded. Subsequently, factors of error were identified by analyzing the data. These factors encompass similarities between shapes without several features as well as features such as learning order. Furthermore, the results were utilized to propose a novel classification scheme and compile a new learning textbook. Thus, this project integrates the application of second language acquisition (SLA), computer vision (CV), and natural language processing (NLP) in the field of fingerspelling alphabets for sign language.

Academic Significance and Societal Importance of the Research Achievements

手話のなかでもごく一部の断片ではあるものの、指文字は手話において欠かすことができない。そのような指文字の読取・表出の両面を、自律的に学習できるシステムを開発した。また、今までにないデータ(手指形状、くずれ、誤りなど)を記録、蓄積し、とくに誤り分析では多変量解析に独自の分析法を組み合わせて、誤りの要因を客観的に確認し、誤り抑制に資する教材なども作成した。これらの成果は本システムを使った学習以外の場でも有用である。このように課題名にも含めた3分野の知見が十分に融合し、理論的・技術的議論にとどまらず、手話学習の現場につながる成果の産出につながったことも有意義である。

Report

(7 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • 2018 Research-status Report
  • 2017 Research-status Report
  • Research Products

    (28 results)

All 2023 2022 2021 2020 2019 2018 2017

All Journal Article (5 results) (of which Peer Reviewed: 1 results) Presentation (21 results) Book (1 results) Funded Workshop (1 results)

  • [Journal Article] 姿勢・手指形推定に基づいた手話動作類語の試行的同定2022

    • Author(s)
      田中省作・本田久平・バイティガザカリ
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 459 Pages: 1-8

    • Related Report
      2021 Research-status Report
  • [Journal Article] ネットワーク分析に基づいた日本手話初学者の指文字読取の誤り分析2021

    • Author(s)
      田中省作・本田久平・長谷川由美
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 450 Pages: 23-44

    • Related Report
      2020 Research-status Report
  • [Journal Article] 多変量解析を活用した日本手話初学者の指文字の誤り分析2020

    • Author(s)
      田中省作・長谷川由美・本田久平
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 437 Pages: 33-44

    • Related Report
      2019 Research-status Report
  • [Journal Article] 手指形状と誤りで描く指文字マップ2019

    • Author(s)
      田中省作・本田久平・長谷川由美
    • Journal Title

      統計数理研究所共同研究リポート

      Volume: 421 Pages: 25-37

    • Related Report
      2018 Research-status Report
  • [Journal Article] Hand Gesture Recognition for Robot Control Using the Leap Motion Controller, Honda2017

    • Author(s)
      Honda, K., Yano, M., Hasegawa, Y., Tanaka, S.
    • Journal Title

      Proc. of the 5th International Conference on Intelligent Systems and Image Processing 2017

      Volume: 2017 Pages: 83-88

    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Presentation] 手関節のAI認識を用いた指文字学習支援Webシステム2023

    • Author(s)
      本田久平・田中省作・長谷川由美・宮崎佳典
    • Organizer
      日本教育工学会2023年春季全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] MediaPipeを利用した指文字学習支援のためのWebアプリケーション開発2021

    • Author(s)
      上村知也・本田久平・長谷川由美・田中省作
    • Organizer
      第74回電気・情報関係学会九州支部連合大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 日本手話初学者の指文字読取誤りに対するネットワーク分析2021

    • Author(s)
      田中省作・本田久平・長谷川由美
    • Organizer
      日本教育工学会2021年秋季全国大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 日本手話初学者の指文字読取の誤り分析2021

    • Author(s)
      田中省作
    • Organizer
      言語と統計2021
    • Related Report
      2020 Research-status Report
  • [Presentation] 指文字学習支援システムの開発2021

    • Author(s)
      徳永和彦・本田久平・長谷川由美・田中省作
    • Organizer
      令和2年度電気学会九州支部高専研究講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] 全国手話検定試験で学ぶ基本単語に関する一考察:親密度と出現頻度の観点から2020

    • Author(s)
      長谷川由美
    • Organizer
      第46回日本手話学会大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 部分形状に基づいた日本手話の指文字の新しい類型の効用2020

    • Author(s)
      田中省作・本田久平
    • Organizer
      電子情報通信学会2020年総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 日本語の呼びかけ・応答・挨拶・独言・間投表現レキシコンの統計的性質2020

    • Author(s)
      田辺利文・田中省作・髙橋雅仁・首藤公昭
    • Organizer
      電子情報通信学会2020年総合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 例示型英文書作成支援ツールにおける例文のレコメンドシステム2020

    • Author(s)
      池田善博・宮崎佳典・田中省作
    • Organizer
      教育システム情報学会2019年度学生研究発表会(東海地区)
    • Related Report
      2019 Research-status Report
  • [Presentation] 多変量解析を活用した日本手話初学者の指文字の誤り分析2019

    • Author(s)
      田中省作・本田久平・長谷川由美
    • Organizer
      日本教育工学会2019年秋季全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 部分形状に着目した学習のための日本手話の指文字の新しい類型化2019

    • Author(s)
      田中省作・長谷川由美
    • Organizer
      第92回外国語教育メディア学会中部支部研究大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 英単語並べ替え問題における学習者の迷い検出を目的とした解答過程データ分析2019

    • Author(s)
      坂野僚亮・宮崎佳典・厨子光政・法月健・長谷川由美
    • Organizer
      第92回外国語教育メディア学会中部支部研究大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 誤りデータを考慮した多次元尺度構成法による指文字の布置2019

    • Author(s)
      田中省作・本田久平・長谷川由美
    • Organizer
      火の国情報シンポジウム2019
    • Related Report
      2018 Research-status Report
  • [Presentation] Unityを用いた手指計測データ管理システムの構築2019

    • Author(s)
      宇都宮優佳・本田久平・長谷川由美・田中省作
    • Organizer
      平成30年度電気学会九州支部高専研究講演会
    • Related Report
      2018 Research-status Report
  • [Presentation] 複数の視覚センサを用いた指文字計測と認識に関する研究2019

    • Author(s)
      岩本一希・浜野遼太郎・本田久平・長谷川由美・田中省作
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 誤りを考慮した日本手話の指文字マップを描く2019

    • Author(s)
      田中省作
    • Organizer
      言語研究と統計2019
    • Related Report
      2018 Research-status Report
  • [Presentation] 日本語の呼びかけ・応答・挨拶・独言・間投表現レキシコンと感情情報抽出について2019

    • Author(s)
      田辺利文・田中省作・髙橋雅仁・首藤公昭
    • Organizer
      火の国情報シンポジウム2019
    • Related Report
      2018 Research-status Report
  • [Presentation] 変形依拠公式提示機能への拡張も含めた数式検索システムの応用2019

    • Author(s)
      野崎咲・宮崎佳典・田中省作
    • Organizer
      情報処理学会第81回全国大会
    • Related Report
      2018 Research-status Report
  • [Presentation] OpenPoseによる指文字認識に関する研究2018

    • Author(s)
      浜野遼太郎・熊代明・本田久平・長谷川由美・田中省作
    • Organizer
      平成30年度(第71回)電気・情報関係九州支部連合大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 日本語の呼びかけ・応答・挨拶・独言・間投表現機械辞書の概要2018

    • Author(s)
      田辺利文・田中省作・髙橋雅仁・首藤公昭
    • Organizer
      平成30年度(第71回)電気・情報関係九州支部連合大会
    • Related Report
      2018 Research-status Report
  • [Presentation] 指文字認識を用いたロボット操作に関する研究2017

    • Author(s)
      矢野将彦・本田久平・長谷川由美・田中省作
    • Organizer
      第70回電気・情報関係学会九州支部連合大会
    • Related Report
      2017 Research-status Report
  • [Book] 指文字 in JSL2021

    • Author(s)
      長谷川由美・本田久平・田中省作
    • Total Pages
      52
    • Publisher
      麦の郷
    • Related Report
      2020 Research-status Report
  • [Funded Workshop] 2022 7th International Conference on Intelligent Informatics and Biomedical Science (ICIIBMS)2022

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2017-07-21   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi