次世代音声翻訳の研究

2021 年度 研究成果報告書

• 研究課題/領域番号: 17H06101
• 研究種目: 基盤研究(S)
• 配分区分: 補助金
• 研究分野: 知覚情報処理
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
• 研究分担者: 河原 達也 京都大学, 情報学研究科, 教授 (00234104) ; 猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974) ; 戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328) ; 森島 繁生 早稲田大学, 理工学術院, 教授 (10200411) ; 高道 慎之介 東京大学, 大学院情報理工学系研究科, 助教 (90784330) ; 須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152) ; SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 特任准教授 (00395005) ; 吉野 幸一郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70760148) ; 田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834) ; 松本 裕治 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (10211575)
• 研究期間 (年度): 2017-05-31 – 2022-03-31
• キーワード: 自動音声同時通訳 / 音声翻訳 / 逐次音声認識・音声合成 / 逐次機会翻訳 / パラ言語音声翻訳 / 音声顔画像翻訳

研究成果の概要

人間の通訳者のような同時通訳システムの実現を目指し、言語間での文構造の違いを考慮して五月雨式に通訳する自動音声同時通訳の研究、発話者の感情、強調、話者性等（パラ言語情報）を抽出、保持、生成する音声翻訳、発話映像の口の動きを言語変換する音声顔画像翻訳の研究を行った。また、330時間の英日通訳者コーパスを構築した。成果として、英日同時音声翻訳、パラ言語情報音声翻訳、音声顔画像翻訳の基本技術を確立しプロトタイプシステムを構築した。

自由記述の分野

音声情報処理

研究成果の学術的意義や社会的意義

日本の社会、企業の国際化、オンライン会議の急増により、外国人とのコミュニケーションが必要な場面が急増している。人間の同時通訳者のような自動通訳が実現できれば社会、経済活動が促進できる。音声から音声への同時通訳では、文字を読む必要がないだけでなく、感情や強調なども伝えることができるため、より自然なコミュニケーションができる。本研究では自動音声同時通訳、感情、顔表情を保持して翻訳する翻訳技術を開発し、このニーズに応えることができる。