2018 Fiscal Year Annual Research Report
Seeking A Sentence Unit of Sign Language: An interdisciplinary approach using the methods of sign language linguistics, deep learning and crowdsourcing
| Project/Area Number |
18H03580
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
坊農 真弓 国立情報学研究所, 情報社会相関研究系, 准教授 (50418521)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 真一 国立情報学研究所, コンテンツ科学研究系, 教授 (90249938)
馬場 雪乃 筑波大学, システム情報系, 准教授 (40711453)
小磯 花絵 大学共同利用機関法人人間文化研究機構国立国語研究所, 音声言語研究領域, 教授 (30312200)
菊澤 律子 国立民族学博物館, 人類基礎理論研究部, 准教授 (90272616)
大杉 豊 筑波技術大学, 障害者高等教育研究支援センター, 教授 (60451704)
宮尾 祐介 国立情報学研究所, コンテンツ科学研究系, 教授 (00343096)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 日本手話 / コーパス / 深層学習 / 語彙 / 対話 / 文単位 / アノテーション / 手話話者 |
|---|
| Outline of Annual Research Achievements |
本研究課題は，手話翻訳システム構築を目指し，手話対話における文単位を認定することを目的としている．手話翻訳システムの構築を目指すとき，文は翻訳の基本単位となる．驚くべきことだが，自発手話対話の文単位は研究上明らかになっていない．一方で，手話を生活言語とする手話話者の間では文単位は自明のことである．対話における文単位は，文の形をしていないことが往々にある．本研究課題では具体的に，(1) 文末(TRP)に出現するNMS(非手指動作)要素を手話話者の協力を得て特定し， (2) 深層学習を用いた画像処理技術で文単位を自動セグメンテーションするシステムを構築し，(3) クラウドソーシングを用いて不特定多数の手話話者に文単位認定の結果の適切性を問い，(4) 手話翻訳システムのデザインについて検討することを課題としてきた．これらのうち平成30年度は，(1)に関して手話母語話者，CODAのアノテーターにより，文単位アノテーションを実施し，(2)に関してOpenPoseを用いた深層学習でどのような研究が実施できそうかを文理融合の視点から議論した．また，(3)に関して手話コミュニティがどの程度クラウドソーシングによる作業に反応を示すかを試す目的で，「野菜チャレンジ」という語彙化が十分に進んでいない手話単語をGoogle forms等を使ってインターネット上に自撮り動画を投稿する実験を実施した．最後に，(4)に関してアプリケーションをイメージした手話翻訳システムのアイデアを出し合い，必要な要素技術を整理した．さらに，当初は想定していなかった研究成果の公開の一つとして，2021年もしくは2022年に国立民族学博物館において開催予定の言語展示に(3)の野菜チャレンジの成果を公開するアイデアを発案し，具体的な方策を練った．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
H30年度は研究代表者の坊農が2月に出産予定で，4ヶ月間産前産後・育児休暇を取得した．しかしながら，これらの予定された休暇を予期し，当初の計画を順調に進めることができ，また研究実績の概要に記したように研究成果の公開の形についても，当初の計画にないアイデアを練ることができた．また，休暇取得後のH31年度にオランダ，スウェーデンから関連研究者を日本に招聘する計画も進められ，当初の計画以上の目覚ましい進展が見られた．以上の理由から，(1) 当初の計画以上に進展しているを選択した．
|
| Strategy for Future Research Activity |
本研究課題は，手話翻訳システムの構築という研究期間内に達成が見込めない目標をあえて設定し，基礎的な分析単位の設定や要素技術の特定を試みてきた．それらの研究活動の根底には，文理融合的アプローチによる研究手法の実現がある．平成30年度は，画像処理，自然言語処理，手話言語学のメンバーによる議論を中心に実施したが，具体的な共同研究(共著論文執筆等)には結びつくことはなかった．今後は深層学習を用いたアプローチを進めることを目指し，実際にOpenPose等の深層学習プログラムを運用できるメンバーを追加し，研究課題の精緻化と方向性の明確化を試みる予定である．
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Tactile Japanese Sign Language and Finger Braille: An Example of Data Collection for Minority Languages in Japan2018
Author(s)
Bono, Mayumi., Sakaida, Rui., Makino, Ryosaku., Okada, Tomohiro., Kikuchi, Kouhei., Cibulka, Mio., Willoughby, Louisa., Iwasaki, Shimako., & Fukushima, Satoshi.
Organizer
The 8th Workshop on the Representation and Processing of Sign Languages: Involving the Language Community, The 11th edition of the Language Resources and Evaluation Conference (LREC)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
