2019 Fiscal Year Annual Research Report
Seeking A Sentence Unit of Sign Language: An interdisciplinary approach using the methods of sign language linguistics, deep learning and crowdsourcing
| Project/Area Number |
18H03580
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
小磯 花絵 大学共同利用機関法人人間文化研究機構国立国語研究所, 音声言語研究領域, 教授 (30312200)
馬場 雪乃 筑波大学, システム情報系, 准教授 (40711453)
大杉 豊 筑波技術大学, 障害者高等教育研究支援センター, 教授 (60451704)
佐藤 真一 国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)
菊澤 律子 国立民族学博物館, 人類基礎理論研究部, 准教授 (90272616)
菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 日本手話 / コーパス / 深層学習 / 語彙 / 対話 / 発話単位 / アノテーション / 手話話者 |
|---|
| Outline of Annual Research Achievements |
本研究は，手話翻訳システム構築を目指し，手話対話における文単位を認定することを目的としている．手話翻訳システムの構築を目指すとき，文は翻訳の基本単位となる．驚くべきことだが，自発手話対話の文単位は研究上明らかになっていない．一方で，手話を生活言語とする手話話者の間では文単位は自明のことである．対話における文単位は，文の形をしていないことが往々にある．本研究では具体的に，(1) 文末(TRP)に出現するNMS(非手指動作)要素を手話話者の協力を得て特定し， (2) 深層学習を用いた画像処理技術で文単位を自動セグメンテーションするシステムを構築し，(3) クラウドソーシングを用いて不特定多数の手話話者に文単位認定の結果の適切性を問い，(4) 手話翻訳システムのデザインについて検討することを課題としてきた．これらのうち平成31年度/令和元年は，(1)と(2)に関して，前年度に実施した人でによる文単位（論文等では「発話単位」に呼び換え）のアノテーション結果を深層学習を用いた画像処理で認識することが可能かを検討した．(3)について，前年度実施した「野菜チャレンジ」実験の試みの結果，マイノリティ言語の一つである日本手話はクラウドソーシングによる作業は困難であることを確認した．これは，日本手話の使用者がクラウド（群衆）と呼べるほどいないこと，手話言語学の範疇を理解させてから実験に参加させることが困難であることが理由である．(4)について，自然言語処理の最新の問題を議論し，手話の翻訳システムのデザインについての具体的な案を出し合った．結果として，発話単位に対する品詞アノテーションを人手て付与し，係り受け解析を実施する環境を整えた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成31年度/令和元年は，平成30年度2月に研究代表者の坊農が出産をしたことにより育児休暇を取得した．この状況に伴い，前半に研究者不在の状況が生じた．その後，同年8月から職場復帰し，本プロジェクトの推進に努めた．このような状況も関係し，上記(3)のクラウドソーシングによる手話話者による発話単位認定実験については，困難な問題の解決には至らなかった．
一方で，(1) 文末(TRP)に出現するNMS(非手指動作)要素を手話話者の協力を得て特定するという研究課題については，日本手話を母語とするろう者3名とCODA(ろう者を両親に持つ聴者）の協力を得て，詳細なアノテーションを実施することができた．また，アノテーションマニュアルも作成し，さらにアノテーターを増やすことができる可能性が見えてきた．
以上を総合的に判断し，区分(2）おおむね順調に進展している，という自己点検評価に至った．
|
| Strategy for Future Research Activity |
今後の研究の推進方策としては，深層学習のプログラミングスキルを有した研究員等を雇用し，発話単位アノテーションの自動化を模索する予定である．発話単位アノテーションの自動化が進めば，本プロジェクトのみならず，様々な手話に関連するプロジェクトで収録されたデータの「基本単位」を同条件で策定することができ，ますます研究環境が整うことが予想される．海外の研究動向をみるところ，深層学習等のAI技術を手話コーパス研究に取り入れているチームはまだ存在しない．本研究が実現すれば，世界初の試みとして注目されることが期待できる．
|
Research Products
(34 results)
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] 話し言葉コーパスの構築と公開2019
Author(s)
小磯 花絵
-
Journal Title
電子情報通信学会誌 = The journal of the Institute of Electronics, Information and Communication Engineers
Volume: 102
Pages: 554～557
DOI
Open Access
-
-
-
[Journal Article] Speech corpora in NINJAL, Japan demonstration of corpus concordance systems : Chunagon and Kotonoha2019
Author(s)
Hanae Koiso, Masayuki Asahara, Salvatore Carlino, Ken'ya Nishikawa, Kazuki Aoyama, Yuichi Ishimoto, Aya Wakasa, Michiko Watanabe, Yoshimi Yoshikawa, Nobuko Kibe, Kikuo Maekawa
-
Journal Title
Proceedings of LPSS 2019
Volume: N/A
Pages: 8-12
Open Access
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Book] ELAN入門2019
Author(s)
細馬 宏通、菊地 浩平
Total Pages
288
Publisher
ひつじ書房
ISBN
9784894767652
-
-
-
-
-
-
