多元自動通訳システムと評価法に関する研究とその応用展開

2022 年度 実績報告書

• 研究課題/領域番号: 21H05054
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 中村 哲 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (30263429)
• 研究分担者: 河原 達也 京都大学, 情報学研究科, 教授 (00234104) ; 戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328) ; 森島 繁生 早稲田大学, 理工学術院, 教授 (10200411) ; 猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974) ; SAKTI Sakriani 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00395005) ; 松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679) ; 山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001) [辞退] ; 高道 慎之介 東京大学, 大学院情報理工学系研究科, 講師 (90784330) ; 渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038) ; 須藤 克仁 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00396152) ; 田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834) ; 品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員助教 (70897454)
• 研究期間 (年度): 2021-07-05 – 2026-03-31
• キーワード: 音声翻訳

研究実績の概要

【課題１】多元同時通訳方式：A)パラ言語音声翻訳およびビデオ・事前・外部知識の利用による多元同時通訳，通訳出力最適化，漸進的音声通訳方式高度化については，言語におけるフォーカス（焦点）に注目し，フォーカスがパラ言語情報である韻律，文法，語彙であらわされ得ること，それらがどの程度相互等価性があるか，音声翻訳のためにはどのように利用するべきかについて検討を行った．また，身体的話者性変換のシステム統合，韻律同期に取り組んだ．B)ビデオ，事前，外部知識の利用については，映画字幕の翻訳を対象に話者やジャンルの情報を利用した翻訳の研究を試みた．C)通訳出力最適化については，Local Agreement法による高度な同時通訳方略の研究および，漸進的音声合成の改良を進めた．
【課題２】通訳品質の評価法とリアルタイム評価技術については，A)通訳プロセス分析に関し，種々の通訳方略モデルを利用した評価指標についての研究を進めた．B)通訳者，通訳システムにおける共通の通訳品質の評価法については，翻訳評価に用いられるMQMを通訳者に評価してもらうことにより，より通訳に適した評価法の検討を進めた．C)脳活動を含むセンシングによる通訳品質客観的自動評価法の確立については，同時通訳中における任意の文やフレーズにおける位相振幅カップリング（PAC）による認知負荷の測定の可能性の基礎検討を行った．
【課題３】コーパス構築とシステムとしては，A)通訳時間アライメント・品質アノテーション作業の基準設計については，自動アライメントの検討を進めた．C)モジュール統合については，IWSLTの評価タスクに参加し同時通訳システムプロトタイプの構築を行った．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

パラ言語情報とくにフォーカスに関する基礎研究の進捗、IWSLT評価タスクを目指した同時通訳システム試作とそれに伴う各モジュールの研究開発が順調に進んでいる。評価についても、通訳者、同時通訳システムにおいて、何を評価すべきかに関する知見が蓄積できてきている。

今後の研究の推進方策

さらに、IWSLTの評価タスクに参加継続し、システムの高速化、性能改善を進めるとともに、あらたなモデルの研究、パラ言語の通訳、通訳の品質評価法などの研究を推進する。

研究成果

• [雑誌論文] Japanese Neural Incremental Text-to-Speech Synthesis Framework With an Accent Phrase Input (2023)
  • 著者名/発表者名: Tomoya Yanagita; Sakriani Sakti; Satoshi Nakamura
  • 雑誌名: IEEE Access 巻: 11 ページ: 22355 - 22363
  • DOI: 10.1109/ACCESS.2023.3251657
  • 査読あり / オープンアクセス
• [雑誌論文] Deficient-basis-complementary rank-constrained spatial covariance matrix estimation based on multivariate generalized Gaussian distribution for blind speech extraction (2022)
  • 著者名/発表者名: Yuto Kondo, Yuki Kubo, Norihiro Takamune , Daichi Kitamura, and Hiroshi Saruwatari
  • 雑誌名: EURASIP Journal on Advances in Signal Processing 巻: 88 ページ: 1_24
  • DOI: 10.1186/s13634-022-00905-z
  • 査読あり / オープンアクセス
• [雑誌論文] Neural Machine Translation with Synchronous Latent Phrase Structure (2022)
  • 著者名/発表者名: Shintaro Harada, Taro Watanabe
  • 雑誌名: Journal of Natural Language Processing 巻: 29 ページ: 587-610
  • DOI: 10.5715/jnlp.29.587
  • 査読あり / オープンアクセス
• [雑誌論文] TriECCC: Trilingual corpus of the Extraordinary Chambers in the Courts of Cambodia for speech recognition and translation studies. (2022)
  • 著者名/発表者名: K.Soky, M.Mimura, T.Kawahara, C.Chu, S.Li, C.Ding, and S.Sam.
  • 雑誌名: International Journal of Asian Language Processing 巻: 31 ページ: 1--21
  • DOI: 10.1142/S2717554522500072
  • 査読あり
• [雑誌論文] 国会会議録のための音声から書き言葉へのend-to-end変換. (2022)
  • 著者名/発表者名: 三村正人, 河原達也.
  • 雑誌名: 自然言語処理 巻: 30 ページ: 88-124
  • DOI: 10.5715/jnlp.30.88
  • 査読あり / オープンアクセス
• [雑誌論文] A cyclical approach to synthetic and natural speech mismatch refinement of neural post-filter for low-cost text-to-speech system (2022)
  • 著者名/発表者名: Y.-C. Wu, P.L. Tobing, K. Yasuhara, N. Matsunaga, Y. Ohtani, T. Toda
  • 雑誌名: APSIPA Transactions on Signal and Information Processing 巻: Vol. 11, No. 1, e30 ページ: 1--32
  • DOI: 10.1561/116.00000020
  • 査読あり / オープンアクセス
• [雑誌論文] A Machine Speech Chain Approach for Dynamically Adaptive Lombard TTS in Static and Dynamic Noise Environments (2022)
  • 著者名/発表者名: S. Novitasari, S. Sakti, S. Nakamura
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech, and Language Processing 巻: 30 ページ: 2673-2688
  • DOI: 10.1109/TASLP.2022.3196879
  • 査読あり / オープンアクセス
• [雑誌論文] Tackling multiple object tracking with complicated motions ? Re-designing the integration of motion and appearance (2022)
  • 著者名/発表者名: F. Yang, Z. Wang, Y. Wu, S. Sakti, S. Nakamura
  • 雑誌名: Image and Vision Computing 巻: 124 ページ: -
  • DOI: 10.1016/j.imavis.2022.104514
  • 査読あり / オープンアクセス
• [雑誌論文] 日本語逐次音声合成における合成単位 (2022)
  • 著者名/発表者名: 柳田 智也, サクティ サクリアニ, 中村 哲
  • 雑誌名: 情報処理学会論文誌 巻: 63 ページ: 1149-1158
  • DOI: 10.20729/00217617
  • 査読あり
• [雑誌論文] Modeling Unsupervised Empirical Adaptation by DPGMM and DPGMM-RNN Hybrid Model to Extract Perceptual Features for Low-Resource ASR (2022)
  • 著者名/発表者名: B. Wu, S. Sakti, J. Zhang, S. Nakamura
  • 雑誌名: IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP) 巻: 30 ページ: 901-916
  • DOI: 10.1109/TASLP.2022.3150220
  • 査読あり / オープンアクセス
• [雑誌論文] Knowledge Distillation for Translating Erroneous Speech Transcriptions (2022)
  • 著者名/発表者名: Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura
  • 雑誌名: Journal of Natural Language Processing 巻: 29 ページ: 344-366
  • DOI: 10.5715/jnlp.29.344
  • 査読あり
• [雑誌論文] How Remote Interpreting Changed the Japanese Interpreting Industry: Findings from an online survey conducted during the COVID-19 pandemic (2022)
  • 著者名/発表者名: Kayo Matsushita
  • 雑誌名: INContext: Studies in Translation and Interculturalism 巻: 2(2) ページ: 167-185
  • DOI: 10.54754/incontext.v2i2.22
• [学会発表] vTTS: visual-text to speech (2023)
  • 著者名/発表者名: Yoshifumi Nakano
  • 学会等名: IEEE SLT 2022
  • 国際学会
• [学会発表] 日本語音声合成におけるアクセント句韻律特徴量の表現と予測 (2023)
  • 著者名/発表者名: 佐藤 匡紀
  • 学会等名: 音声研究会 (SP)
• [学会発表] 動画キャプションモデルを用いた字幕翻訳の検討 (2023)
  • 著者名/発表者名: 成浦拓音
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] Cyclic Partially-aligned Transformer for Visually Connected Speech-to-text Mapping (2023)
  • 著者名/発表者名: J. Effendi, S. Sakti, S. Nakamura
  • 学会等名: The 2023 Spring meeting of the Acoustical Society of Japan (ASJ)
• [学会発表] インクリメンタル音声合成のための逐次読み・アクセント推定法の検討 (2023)
  • 著者名/発表者名: 柳田 智也, 中村 哲
  • 学会等名: 日本音響学会 2023年春季研究発表会
• [学会発表] 事前学習モデルによる分割統治ニューラル機械翻訳 (2023)
  • 著者名/発表者名: 石川隆太, 加納保昌, 須藤克仁, 中村哲
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] 音声機械翻訳の時間効率と精度を改善するための連続音声分割 (2023)
  • 著者名/発表者名: 福田りょう, 須藤克仁, 中村哲
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] エッセイ自動採点における文法特徴と学習者レベルの関係 (2023)
  • 著者名/発表者名: 土肥康輔，須藤克仁，中村哲
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] Average Token Delay: 同時翻訳の遅延評価尺度 (2023)
  • 著者名/発表者名: 加納保昌, 須藤克仁, 中村哲
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] 同時通訳品質評価方法検討のための同時通訳者と翻訳者の評価比較分析 (2023)
  • 著者名/発表者名: 蒔苗茉那, 須藤克仁, 中村哲, 松下佳世, 山田優
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] 非流暢性タグを用いた目的言語テキストによる自由発話の音声翻訳 (2023)
  • 著者名/発表者名: 胡尤佳, 須藤克仁, 中村哲
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] 日英翻訳を対象としたイディオム表現の評価指標の提案 (2023)
  • 著者名/発表者名: 廣瀬惟歩, 渡辺太郎
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] 摂動を加えた kNN 機械翻訳による多様な翻訳候補の生成 (2023)
  • 著者名/発表者名: 西田 悠人, 森下 睦, 上垣外 英剛, 渡辺 太郎
  • 学会等名: 言語処理学会第29回年次大会
• [学会発表] Detection of Selective Attention processing during Simultaneous Interpretation by EEG Auditory Steady-State response-related Phase-Amplitude Coupling (2022)
  • 著者名/発表者名: Haruko Yagura, Hiroki Tanaka, Katsuhito Sudoh, and Satoshi Nakamura
  • 学会等名: NEURO2022
• [学会発表] Adapting to Non-Centered Languages for Zero-shot Multilingual Translation (2022)
  • 著者名/発表者名: Zhi Qu
  • 学会等名: the 29th International Conference on Computational Linguistics
• [学会発表] Sharing Parameter by Conjugation for Knowledge Graph Embeddings in Complex Space (2022)
  • 著者名/発表者名: Xincan Feng
  • 学会等名: TextGraphs-16: Graph-based Methods for Natural Language Processing
• [学会発表] Phone-informed refinement of synthesized mel spectrogram for data augmentation in speech recognition. (2022)
  • 著者名/発表者名: S.Ueno
  • 学会等名: IEEE-ICASSP
  • 国際学会
• [学会発表] Leveraging simultaneous translation for enhancing transcription of low-resource language via cross attention mechanism. (2022)
  • 著者名/発表者名: K.Soky
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] End-to-end speech-to-punctuated-text recognition. (2022)
  • 著者名/発表者名: J.Nozaki
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Non-autoregressive error correction for CTC-based ASR with phone-conditioned masked LM. (2022)
  • 著者名/発表者名: H.Futami
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Towards the establishment of a quality assessment framework for interpreting performance (2022)
  • 著者名/発表者名: Kayo Matsushita, Masaru Yamada
  • 学会等名: Translation in Transition 6 Conference
  • 国際学会
• [学会発表] Syntactic Cross and Reading Effort in English to Japanese Translation (2022)
  • 著者名/発表者名: Takanori Mizowaki, Haruka Ogawa, Masaru Yamada
  • 学会等名: The proceedings of Workshop on Empirical Translation Process Research, The 15th Conference of the Association for Machine Translation in the Americas (AMTA)
  • 国際学会
• [学会発表] 注意機構付きVAEを用いたテキスト発話スタイル変換の改良 (2022)
  • 著者名/発表者名: 吉岡 大貴, 安田 裕介, 松永 悟行, 大谷 大和, 戸田 智基
  • 学会等名: 日本音響学会秋季研究発表会
• [学会発表] 拡散確率モデルとアライメントモデルを用いた潜在特徴系列変換に基づくテキスト音声合成 (2022)
  • 著者名/発表者名: 安田 裕介, 戸田 智基
  • 学会等名: 日本音響学会秋季研究発表会
• [学会発表] Interpretable emotional control for text-to-speech system toward development of sympathetic educational-support robots (2022)
  • 著者名/発表者名: J. Feng, T. Yoshikawa, T. Toda
  • 学会等名: 日本音響学会秋季研究発表会
• [学会発表] Unified source-filter GAN with harmonic-plus-noise source excitation generation (2022)
  • 著者名/発表者名: R. Yoneyama, Y.-C. Wu, T. Toda
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Interpretable control for emotional text-to-speech system toward development of sympathetic educational-support robots (2022)
  • 著者名/発表者名: J. Feng, T. Yoshikawa, T. Toda
  • 学会等名: APSIPA ASC
  • 国際学会
• [学会発表] 内容語保存機構を備えた変分自己符号化器に基づくテキスト発話スタイル変換 (2022)
  • 著者名/発表者名: 吉岡 大貴, 安田 裕介, 松永 悟行, 大谷 大和, 戸田 智基
  • 学会等名: 情報処理学会音声言語情報処理研究会
• [学会発表] 合成音声の主観評価結果の統計的解析 (2022)
  • 著者名/発表者名: 安田 裕介, 戸田 智基
  • 学会等名: 日本音響学会春季研究発表会
• [学会発表] SiFi-GAN：音源フィルタ構造に基づくHiFi-GAN (2022)
  • 著者名/発表者名: 米山 怜於, Y.-C. Wu, 戸田 智基
  • 学会等名: 日本音響学会春季研究発表会
• [学会発表] サイクル学習を用いた注意機構付きVAEによるテキスト発話スタイル変換 (2022)
  • 著者名/発表者名: 吉岡 大貴, 安田 裕介, 松永 悟行, 大谷 大和, 戸田 智基
  • 学会等名: 日本音響学会春季研究発表会
• [学会発表] Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing (2022)
  • 著者名/発表者名: H. Qi, S. Novitasari, S. Sakti, S. Nakamura
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing (2022)
  • 著者名/発表者名: Heli Qi, Sashi Novitasari, Sakriani Sakti, Satoshi Nakamura
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Representing ‘how you say’ with ‘what you say’:English corpus of focused speech and text reflecting corresponding implications (2022)
  • 著者名/発表者名: Naoaki Suzuki, Satoshi Nakamura
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Speech Segmentation Optimization using Segmented Bilingual Speech Corpus for End-to-end Speech Translation (2022)
  • 著者名/発表者名: Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Applying Syntax?Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis (2022)
  • 著者名/発表者名: Kei Furukawa, Takeshi Kishiyama, Satoshi Nakamura
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Simultaneous Neural Machine Translation with Prefix Alignment (2022)
  • 著者名/発表者名: Yasumasa Kano, Katsuhito Sudoh, Satoshi Nakamura
  • 学会等名: 19th International Conference on Spoken Language Translation (IWSLT 2022)
  • 国際学会
• [学会発表] NAIST Simultaneous Speech-to-Text Translation System for IWSLT 2022 (2022)
  • 著者名/発表者名: Ryo Fukuda, Yuka Ko, Yasumasa Kano, Kosuke Doi, Hirotaka Tokuyama, Sakriani Sakti, Katsuhito Sudoh, Satoshi Nakamura
  • 学会等名: 19th International Conference on Spoken Language Translation (IWSLT 2022)
  • 国際学会
• [学会発表] どう言ったかを何を言ったかで表す ～ フォーカスを含んだ発話及びその含意を反映したテキストを含む英語コーパス ～ (2022)
  • 著者名/発表者名: 鱸 尚晃, 中村 哲
  • 学会等名: 第24回音声言語シンポジウム（SP/SLP）兼第9回自然言語処理シンポジウム
• [学会発表] NAIST同時通訳コーパスの構築：翻訳字幕との比較と通訳経験年数に基づく分析 (2022)
  • 著者名/発表者名: 土肥 康輔，須藤 克仁，中村 哲
  • 学会等名: 日本通訳翻訳学会 第23回年次大会
• [学会発表] 視線情報と比喩度に基づく英語フレーズの理解度推定 (2022)
  • 著者名/発表者名: 樋笠 泰祐， 平田 明日香， 田中 啓太郎， 森島 繁生
  • 学会等名: 第30回インタラクティブシステムとソフトウェアに関するワークショップ , WISS 2022
• [学会発表] Unsupervised Disentanglement of Timbral, Pitch, and Variation Features From Musical Instrument Sounds With Random Perturbation (2022)
  • 著者名/発表者名: Keitaro Tanaka, Yoshiaki Bando, Kazuyoshi Yoshii, and Shigeo Morishima
  • 学会等名: APSIPA ASC 2022
  • 国際学会
• [学会発表] The Sound of Bounding-Boxes (2022)
  • 著者名/発表者名: Takashi Oya, Shohei Iwase, Shigeo Morishima
  • 学会等名: International Conference on Pattern Recognition 2022 , ICPR 2022
  • 国際学会
• [学会発表] Audio-Driven Violin Performance Animation with Clear Fingering and Bowing (2022)
  • 著者名/発表者名: Asuka Hirata, Keitaro Tanaka, Masatoshi Hamanaka, Shigeo Morishima
  • 学会等名: The Premier Conference & Exhibition on Computer Graphics & Interactive Techniques, SIGGRAPH 2022
  • 国際学会