2020 Fiscal Year Annual Research Report
Seeking A Sentence Unit of Sign Language: An interdisciplinary approach using the methods of sign language linguistics, deep learning and crowdsourcing
| Project/Area Number |
18H03580
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮尾 祐介 東京大学, 大学院情報理工学系研究科, 教授 (00343096)
小磯 花絵 大学共同利用機関法人人間文化研究機構国立国語研究所, 音声言語研究領域, 教授 (30312200)
馬場 雪乃 筑波大学, システム情報系, 准教授 (40711453)
大杉 豊 筑波技術大学, 障害者高等教育研究支援センター, 教授 (60451704)
菊地 浩平 筑波技術大学, 産業技術学部, 助教 (60582898)
佐藤 真一 国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)
菊澤 律子 国立民族学博物館, 人類基礎理論研究部, 准教授 (90272616)
楠 房子 多摩美術大学, 美術学部, 教授 (40192025)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 日本手話 / 文単位 / 発話単位 / 深層学習 / 画像処理 / アノテーション / 品詞 / 手話翻訳システム |
|---|
| Outline of Annual Research Achievements |
本研究は，手話翻訳システム構築を目指し，手話対話における文単位を認定することを目的としていた．手話翻訳システムの構築を目指すとき，文は翻訳の基本単位となる．驚くべきことだが，自発手話対話の文単位は研究上明らかになっていない．一方で，手話を生活言語とする手話話者の間では文単位は自明のことである．対話における文単位は，文の形をしていないことが往々にある．音声言語を例にとってみると，対話における文は「だ，です，ます」といった終助詞で完全に区切られるわけではなく，末尾が省略されるなど不完全なことが多い．本研究では，(1) 文末(TRP)に出現するNMS(非手指動作)要素を手話話者の協力を得て特定し， (2) 深層学習を用いた画像処理技術で文単位を自動セグメンテーションするシステムを構築し，(3) クラウドソーシングを用いて不特定多数の手話話者に文単位認定の結果の適切性を問い，(4) 手話翻訳システムのデザインについて検討ことを予定していた．(1)について，日本手話を日常的に用いる人々の協力を得て，既存の『日本手話話し言葉コーパス』に対し，文単位アノテーションを実施した．その作業の中で，「文単位」という術語が文法的要素を含む単位として理解されがちであることを問題と考え，文単位を「発話単位」と呼び変えることとした．（２）について，深層学習を用いた画像処理技術で発話単位の候補を示した．（１）の作業を実施するアノテーターに発話単位候補を視覚的に提示し，手の動きの物理的特徴と意味的特徴との関係性を考慮するアノテーション環境を構築した．(3)について，不特定多数の手話話者に文単位認定の結果の適切性を問うには至らなかった．その理由として，発話単位の定義が未だ定まらないことと，アノテーター間で揺れが大きいことが挙げられる．（４）について，手話翻訳システムの基盤となる品詞アノテーションを実施した．
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Research Products
(144 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Journal Article] Design and Evaluation of the Corpus of Everyday Japanese Conversation2022
Author(s)
Hanae Koiso , Haruka Amatani , Yasuharu Den , Yuriko Iseki , Yuichi Ishimoto , Wakako Kashino , Yoshiko Kawabata , Ken'ya Nishikawa , Yayoi Tanaka , Yuka Watanabe , Yasuyuki Usuda
-
Journal Title
Proceedings of 13th Language Resources and Evaluation Conference
Volume: -
Pages: -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] 『日本語日常会話コーパス』の設計と特徴2022
Author(s)
小磯花絵, 天谷晴香, 石本祐一, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉, 渡邊友香
Organizer
言語処理学会第28回年次大会
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
