Research into Constructing a Japanese Sign Language Multi-Dimensional Database

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H06114
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Research Field: Linguistics
• Research Institution: Kogakuin University
• Principal Investigator: NAGASHIMA YUJI 工学院大学, 情報学部(情報工学部), 教授 (50138137)
• Co-Investigator(Kenkyū-buntansha): 原 大介 豊田工業大学, 工学部, 教授 (00329822) ; 堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347) ; 酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
• Project Period (FY): 2017-05-31 – 2021-03-31
• Keywords: 手話 / データベース / 3次元動作 / アノテーション / 言語解析 / 手話認識

Outline of Final Research Achievements

In this study, with the cooperation of one man and one woman as language resource providers, we constructed a sign language word database(KoSign) of 6,359 words with high-precision and high-definition 3D motion data, video data and depth data. In addition, for the first time in the world, we have recorded high-definition and high-precision 3D motion and video data of dialogues. The recorded dialogues have been annotated by extracting words and facial expressions and by translating the dialogues to make the data more meaningful. We have also developed a support system(MAT) to assist in this annotation process.
The first phase of the word and dialogue database (KoSign) constructed in this study was released on May 25, 2021 via National Institute of Informatics for the purpose of further promoting sign language research.

Free Research Field

障害のある人へのコミュニケーション支援研究

Academic Significance and Societal Importance of the Research Achievements

本研究で最も重要な成果は、時空間解像度や質の異なる入力媒体からの全てのデータを同期した多次元的な手話の単語・対話データベースKoSignを構築したことである。KoSignは、3次元動作・映像・深度・赤外線画像データより構成され、言語資料、工学的研究資料とし計り知れない価値をもつデータとなる。特に、3次元動作による対話データは、未解明な手話のリズムに関する詳細な時空間解析を可能とするため、世界的に見ても貴重なデータとなり、公開が望まれている。
KoSignの公開で、日本の手話研究の発展に大きな貢献となると共に、新たな研究方法の発見など、社会的意義は高いと思われる。