2021 Fiscal Year Final Research Report
Next generation speech translation research
| Project/Area Number |
17H06101
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
Nakamura Satoshi 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
高道 慎之介 東京大学, 大学院情報理工学系研究科, 助教 (90784330)
須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152)
SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005)
吉野 幸一郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70760148)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
松本 裕治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10211575)
|
|---|
| Project Period (FY) |
2017-05-31 – 2022-03-31
|
| Keywords | 自動音声同時通訳 / 音声翻訳 / 逐次音声認識・音声合成 / 逐次機会翻訳 / パラ言語音声翻訳 / 音声顔画像翻訳 |
|---|
| Outline of Final Research Achievements |
With the goal to develop a speech translation system having an equal ability to human simultaneous interpreters, we conducted research on automatic incremental speech translation with consideration of sentence structure difference between languages, paralinguistic speech translation to extract, preserve and reproduce speaker’s emotion, emphasis, and individuality, as well as video caption translation by using lip sync for videos. Moreover, we created 330 hours corpora of JP-EN speech translation. As an achievement of the research, we established the basic technologies for the English-Japanese simultaneous speech translation, the paralinguistic speech translation, and the video caption translation, and built up a prototype containing these technologies.
|
| Free Research Field |
音声情報処理
|
| Academic Significance and Societal Importance of the Research Achievements |
日本の社会、企業の国際化、オンライン会議の急増により、外国人とのコミュニケーションが必要な場面が急増している。人間の同時通訳者のような自動通訳が実現できれば社会、経済活動が促進できる。音声から音声への同時通訳では、文字を読む必要がないだけでなく、感情や強調なども伝えることができるため、より自然なコミュニケーションができる。本研究では自動音声同時通訳、感情、顔表情を保持して翻訳する翻訳技術を開発し、このニーズに応えることができる。
|
