2021 Fiscal Year Annual Research Report
モダリティと言語を横断する潜在空間を利用した情報アクセスの研究
| Project/Area Number |
19K11980
|
|---|
| Research Institution | Toyohashi University of Technology |
|---|
Principal Investigator |
秋葉 友良 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (00356346)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 情報アクセス / 情報検索 / 系列変換モデル / 潜在空間 / 音声認識 / 機械翻訳 / 音声翻訳 / 音声ドキュメント検索 |
|---|
| Outline of Annual Research Achievements |
本研究では、多種多様な情報の対応付けや相補的利用を可能にする情報アクセス手法の開発を目的とする。この目的のために、情報の(a)モダリティおよび(b)言語の差異を横断した情報アクセスを可能にするための(A)多様な情報表現の変換手法の開発、および(B)共通の潜在空間の獲得とその利用方法の開発、を行う。
(a)モダリティの差異を横断した情報アクセスの問題に対し、引き続き系列変換モデルを用いた手法の開発を行なった。音声発話とテキストの間の変換である音声認識について、逆の変換である音声合成と同時に学習を進め教師信号を互いに利用し合う手法を開発した。この手法は、テキスト間の変換である機械翻訳において検討したIterative Back-translation(IBT)を音声認識に適用したものであるが、音声には言語情報以外の非言語情報（話者性など）が含まれており多様であることが問題であった。この問題に対し、音声発話を離散表現に変換した離散音声表現とテキストの間でIBTを実施する手法を開発した。
(b)言語の差異を横断した情報アクセスの問題に対し、機械翻訳の研究を進めた。双対関係にある互いに逆向きの２つの機械翻訳モデルを同時に学習し教師信号を互いに利用し合うIterative Back-translation(IBT)の研究を進め性能の向上を行なった。特に、教師信号の作り方について、摂動の大きさを動的に制御する手法を開発し効果を確認した。また、対訳コーパス以外の言語資源が利用できない場合でも、ラウンドトリップ翻訳を用いて言い換え表現から教師信号を作成する手法を開発し効果を確認した。さらにIBTの仕組みを調査し、文対応のない2言語の単言語コーパス対からでも新規の対訳語彙を多数(獲得可能な6割以上)獲得できることを確認した。これにより、定量的な評価に加え、定性的にもIBTの有効性を明らかにした。
|
