| Project/Area Number |
21H05054
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 研究推進機構, 特任教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679)
須藤 克仁 奈良女子大学, 生活環境科学系, 教授 (00396152)
高道 慎之介 慶應義塾大学, 理工学部(矢上), 准教授 (90784330)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00395005)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥189,280,000 (Direct Cost: ¥145,600,000、Indirect Cost: ¥43,680,000)
Fiscal Year 2024: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2023: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2022: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2021: ¥42,120,000 (Direct Cost: ¥32,400,000、Indirect Cost: ¥9,720,000)
|
|---|
| Keywords | 音声翻訳 |
|---|
| Outline of Research at the Start |
本研究では，課題１：多元同時通訳方式：パラ言語音声翻訳およびビデオ・事前・外部知識の利用による多元同時通訳，通訳出力最適化，漸進的音声通訳方式高度化，課題２：通訳品質の評価法とリアルタイム評価技術：通訳プロセス分析，通訳者支援技術，通訳者・自動通訳システム共通の通訳品質の評価法，脳活動を含むセンシングによる通訳品質客観的自動評価法の確立．課題３：コーパス構築とシステム：通訳時間アライメント・品質アノテーション，コーパス増強，実運用システムの構築とデータ収集・改良のエコシステムの構築とアクティブラーニング，ライフロングラーニング法の確立を実施する
|
| Outline of Annual Research Achievements |
課題1-A)強調を含んだ原音声をend-to-endで対象言語に変換する方式を検討し有効性を示した．形容詞以外の品詞の強調やフォーカスの抽出および翻訳法に関する検討を開始した．音声とビデオの身体的話者性変換の統合システムの改良を実施した．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法を提案し，その有効性を示した．任意のフォトリアルな発話表情合成を実現するため，Nerfに基づく従来の3次元顔モデルベースとは異なる，3次元モデルの仲介や長時間レンダリングを必要としない輝度場の機械学習に基づくスーパーフォトリアル顔画像合成法に着手した．B)分野やキーワード等の情報を明に与える形での事前適応について方式調査を行った．マルチモーダル事前学習モデルを用いた予備検討を行い，本タスクに最適化する際の学習効率が課題であることが明らかになった．C)漸進的音声合成の品質と遅延の改善を優先的に実施した．大きく語順の異なる同時音声翻訳に対応するため，構文情報を利用する方法，プレフィクスを利用する方法を提案し有効性を確認した．
課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムを特定し分析した．B)現在使われている通訳品質評価法について，先行研究の検証や関連機関へのヒアリングを行い，主観評価ではなく客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた作業に着手した．翻訳評価で用いられる枠組みであるMQMを用いた小規模な同時通訳評価アノテーションを実施した．C)同時通訳中における文単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施した．
課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築し評価アノテーションに活用した．C)モジュールの再構築による統合システムの更新を行いIWSLT 2022の同時翻訳共通タスクに参加した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
２０２２年度は，旧基盤Sプロジェクトから新基盤Sプロジェクトが重複し，移行を行う必要があったため多少の混乱が生じたが，旧基盤Ｓプロジェクトにおける成果を統合した音声同時通訳システムの性能と遅延評価を行い，それらを改良して，国際会議のshared taskに参加することが出来た．課題１，２，３についても，これまでの研究をさらに改良するための研究に加えて，パラ言語，事前情報の利用による同時音声通訳の研究，さらに，通訳者，通訳研究者と共に同時通訳の評価法の研究を開始した．
|
| Strategy for Future Research Activity |
課題1-A)種々の品詞に強調，フォーカスを有する原音声をend-to-endで対象言語に変換する方式についてさらに研究を進める．音声とビデオの身体的話者性変換の統合システムの改良を継続する．任意の話者および言語にも対応可能な深層ネットワーク統合型音声変換法，発話表情合成のモデルの研究をさらに進める．B)分野やキーワード等の情報を明に与える形での事前適応について，事前情報のアノテーションの実施，マルチモーダル事前学習モデルを用いた検討を進める．C)漸進的音声合成の品質と遅延の改善を進める．遅延圧縮のため合成音声の要約などについても研究を進める．
課題2-A)遠隔同時通訳において導入されている既存の通訳者支援システムのデータから通訳方略の分析を続ける．B)客観的に測定可能なデータに基づく通訳品質評価法の確立に向けた検討を進める．翻訳評価で用いられる枠組みであるMQMを用いた同時通訳評価アノテーションを実施する．C)同時通訳中におけるチャンク単位のASSR反応による認知負荷の測定，認知負荷指数の関係の解析を実施する．
課題3-A)原発話・通訳発話のアラインメントツールプロトタイプを構築しアライメントコーパスを構築する． C)モジュールの再構築による統合システムの改良を続ける．
|
| Assessment Rating |
Interim Assessment Comments (Rating)
A: In light of the aim of introducing the research area into the research categories, the expected progress has been made in research.
|
