| Project/Area Number |
21H05054
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 研究推進機構, 特任教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679)
高道 慎之介 慶應義塾大学, 理工学部(矢上), 准教授 (90784330)
須藤 克仁 奈良女子大学, 生活環境科学系, 教授 (00396152)
SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00395005)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2025)
|
| Budget Amount *help |
¥189,280,000 (Direct Cost: ¥145,600,000、Indirect Cost: ¥43,680,000)
Fiscal Year 2025: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2024: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2023: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2022: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2021: ¥42,120,000 (Direct Cost: ¥32,400,000、Indirect Cost: ¥9,720,000)
|
|---|
| Keywords | 音声翻訳 |
|---|
| Outline of Research at the Start |
本研究では，課題１：多元同時通訳方式：パラ言語音声翻訳およびビデオ・事前・外部知識の利用による多元同時通訳，通訳出力最適化，漸進的音声通訳方式高度化，課題２：通訳品質の評価法とリアルタイム評価技術：通訳プロセス分析，通訳者支援技術，通訳者・自動通訳システム共通の通訳品質の評価法，脳活動を含むセンシングによる通訳品質客観的自動評価法の確立．課題３：コーパス構築とシステム：通訳時間アライメント・品質アノテーション，コーパス増強，実運用システムの構築とデータ収集・改良のエコシステムの構築とアクティブラーニング，ライフロングラーニング法の確立を実施する
|
| Outline of Annual Research Achievements |
【課題1】多元同時通訳方式：A)パラ言語情報制御機能を備えた音声変換・合成技術に関する基礎検討を行うとともに，言語表現制御機能を備えた音声合成技術の基礎検討にも取り組んだ．豊かな音声表情翻訳手法については発話者の韻律同期または感情表出時の顔動画の個性表現に関して検討を進め，動画生成時のキーフレーム補間時のアイデンティティ同期方法の検討を進めた．B)通訳対象の分野知識に関する用語情報を大規模言語モデルに入力することで通訳性能を改善する形での事前適応を試みた．C) 通訳出力最適化については，Local Agreement法、AlignAtt法に加え、大規模言語モデル（LLM）を用いる通訳方略の検討と音声合成の言語処理部の逐次動作化を進めた．
【課題2】通訳品質の評価法とリアルタイム評価技術：A)同時通訳コーパスと前年度に作成した文節単位順送り訳データを用いた詳細な分析を通じ，同時翻訳システムと人間の同時通訳では「順送り」や「省略」の傾向が異なることが明らかになった．B)通訳の受け手の観点を考慮した質的評価のためのユーザー試験を行い，人間通訳と自動通訳の訳出の理解度を比較した．C)EEGを用いた認知負荷の高い構文の解析に関しては、主担当者の異動により令和５年度中に研究の進捗は無かったが，全体の研究目的（システム構築）の達成に問題ない段階まで進んだことを確かめた．
【課題3】コーパス構築とシステム：A)自動文アラインメントを付した同時通訳コーパスを用い，自動同時音声翻訳の学習に利用することで性能向上を達成した．前年度に作成した文節単位順送り訳データと合わせ，課題2の分析と評価に活用した．B)多元パラ言語アノテーション付きコーパス50時間，事前情報50時間の方針を検討した．C)モジュールの統合，評価を行うとともに，引き続きIWSLTの評価タスクに参加してエコシステムの性能改善を進める．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
IWSLT評価タスクを目指した同時通訳システム試作とそれに伴う各モジュールの研究開発が順調に進んでいる。2023年度は、漸進的な音声認識、機械翻訳、音声合成を接続してシステムを構築したが、2024年度は多言語の事前学習モデル（音声モデル、翻訳モデル）をベースに改良を行い、入力言語の音声から直接対象言語のテキストへ変換し、それを逐次音声合成するシステムを構築した。評価についても、通訳者、同時通訳システムにおいて適用可能な自動評価システムができつつある。
|
| Strategy for Future Research Activity |
IWSLTの評価タスクに参加継続し、システムの高速化、性能改善を進めるとともに、研究用プロトタイプをさらに発展させて、実証実験可能なシステムを構築する。同時に、フォーカス、声質、発話表情を中心としたマルチモーダル翻訳システムと通訳の自動品質評価法を確立する。
|
| Assessment Rating |
Interim Assessment
A: 順調に研究が進展しており、期待どおりの成果が見込まれる
|
