| Project/Area Number |
21H05054
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (S)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Broad Section J
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中村 哲 奈良先端科学技術大学院大学, 研究推進機構, 特任教授 (30263429)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
河原 達也 京都大学, 情報学研究科, 教授 (00234104)
戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328)
森島 繁生 早稲田大学, 理工学術院, 教授 (10200411)
猿渡 洋 東京大学, 大学院情報理工学系研究科, 教授 (30324974)
松下 佳世 立教大学, 異文化コミュニケーション学部, 教授 (90746679)
須藤 克仁 奈良女子大学, 生活環境科学系, 教授 (00396152)
高道 慎之介 慶應義塾大学, 理工学部(矢上), 准教授 (90784330)
渡辺 太郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (90395038)
SAKTI Sakriani 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00395005)
山田 優 立教大学, 異文化コミュニケーション学部, 教授 (70645001)
田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
品川 政太朗 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員助教 (70897454)
|
|---|
| Project Period (FY) |
2021-07-05 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥189,280,000 (Direct Cost: ¥145,600,000、Indirect Cost: ¥43,680,000)
Fiscal Year 2025: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2024: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2023: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2022: ¥36,790,000 (Direct Cost: ¥28,300,000、Indirect Cost: ¥8,490,000)
Fiscal Year 2021: ¥42,120,000 (Direct Cost: ¥32,400,000、Indirect Cost: ¥9,720,000)
|
|---|
| Keywords | 音声翻訳 |
|---|
| Outline of Research at the Start |
本研究では，課題１：多元同時通訳方式：パラ言語音声翻訳およびビデオ・事前・外部知識の利用による多元同時通訳，通訳出力最適化，漸進的音声通訳方式高度化，課題２：通訳品質の評価法とリアルタイム評価技術：通訳プロセス分析，通訳者支援技術，通訳者・自動通訳システム共通の通訳品質の評価法，脳活動を含むセンシングによる通訳品質客観的自動評価法の確立．課題３：コーパス構築とシステム：通訳時間アライメント・品質アノテーション，コーパス増強，実運用システムの構築とデータ収集・改良のエコシステムの構築とアクティブラーニング，ライフロングラーニング法の確立を実施する
|
| Outline of Annual Research Achievements |
【課題１】多元同時通訳方式：A)「強調」に関しては，フォーカスに関して，音声の韻律と言語表現の最適組み合わせ出力に取り組んだ．パラ言語情報制御機能を備えた音声変換・合成技術に関する基礎検討を行った．また，豊かな音声表情翻訳手法については発話者の韻律同期もしくは感情表出時の顔動画の個性表現に関して検討を進め，動画生成時のキーフレーム補間時のアイデンティティ同期の方法について検討を進めた．B)字幕翻訳を例に，分野やキャラクタ等の情報を明確に与える形での事前適応を試みた．C) 通訳出力最適化については，Local Agreement法とAlignAtt法による通訳方略の検討および音声合成の言語処理部の逐次動作化を進めた．
【課題２】通訳品質の評価法とリアルタイム評価技術に関しては，A)「順送り」や「省略」などの分析をさらに進めた．また進的翻訳技術との連携により応用技術に落とし込み，通訳者の補助として有用な技術の切り出しの検討も進めた．B)通訳者が重視する観点の考慮，順送り訳の度合いの考慮などを含んだ自動通訳品質評価指標の検討を進めた．C)EEGを用いた認知負荷の高い構文の解析，文中の語順の異なる位置と認知負荷の関係，認知負荷を位相振幅カップリング（PAC）で分析する研究が進んだ．
【課題３】コーパス構築とシステムとしては，A)自動アライメントによる通訳対訳コーパスの増強と同時通訳システムへの活用，また，通訳品質評価への応用について検討した．B)多元パラ言語アノテーション付きコーパス50時間，事前情報50時間については方針の検討を行った．C)モジュールの統合，評価を行い，エコシステムの設計，実装については引き続きIWSLTの評価タスクに参加してシステムの性能改善を進める。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
IWSLT評価タスクを目指した同時通訳システム試作とそれに伴う各モジュールの研究開発が順調に進んでいる。2022年度は、漸進的な音声認識、機械翻訳、音声合成を接続してシステムを構築したが、2023年度は多言語の事前学習モデル（音声モデル、翻訳モデル）をベースに改良を行い、入力言語の音声から直接対象言語のテキストへ変換し、それを逐次音声合成するシステムを構築した。評価についても、通訳者、同時通訳システムにおいて適用可能な自動評価システムができつつある。
|
| Strategy for Future Research Activity |
IWSLTの評価タスクに参加継続し、システムの高速化、性能改善を進めるとともに、研究用プロトタイプをさらに発展させて、実証実験可能なシステムを構築する。同時に、フォーカス、声質、発話表情を中心としたマルチモーダル翻訳システムと通訳の自動品質評価法を確立する。
|
| Assessment Rating |
Interim Assessment Comments (Rating)
A: In light of the aim of introducing the research area into the research categories, the expected progress has been made in research.
|
