2022 Fiscal Year Research-status Report

マルチタスク深層学習における補助損失の動的制御と音声コミュニケーションへの応用

Research Project

Project/Area Number	22K12105
Research Institution	National Institute of Advanced Industrial Science and Technology
Principal Investigator	李時旭国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (50415642)
Co-Investigator(Kenkyū-buntansha)	伊藤慶明岩手県立大学, ソフトウェア情報学部, 教授 (90325928)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	音声感情認識 / 音声信号処理 / 機械学習 / パターン認識 / 深層学習
Outline of Annual Research Achievements	本研究は、人間と機械の音声コミュニケーションにおいて、発話意図の正確な把握に不可欠な要素である非言語情報の高度処理を目的とする。非言語情報としては、話者の性別、年齢、意図、態度、感情などを処理対象とし、音声の観測特徴から多様な言語と非言語タスクに特定するdisentangledな表現(もつれを解いた表現)を抽出するため、マルチタスク学習における補助損失を動的に制御する手法の研究を行う。研究初年度として、複数の公開感情音声コーパスを整備し、共通的に使用することを進めた。日本語はJTES（Japanese Twitter-based Emotional Speech）を、英語は音声感情認識の学術分野で共通のベンチマークテストとして広く用いられるIEMOCAP（Interactive Emotional Dyadic Motion Capture )を用いた。まず、個別のコーパスで定義された分類から共通するカテゴリーを設定し、これらをドメイン敵対的学習(Domain-adversarial learning),マルチタスク学習（Multi-task learning）など、タスク以外の素性に着目する学習手法をためした。さらに、膨大な学習データから自己教師付き学習(Self-supervised learning; SSL)による事前学習モデルを用いる予備実験を当初の研究計画に追加し、事前学習モデルの特性を把握するためのgrid-searchを主に行った。結果として、事前学習モデルの違う傾向を確認し、その究明を進めることが研究初年度の主な研究内容であった。特に、自己教師付き学習による事前学習モデルの高性能かつ新たな特性を分析し、本研究課題への融合を研究課題として挙げることが出来た。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究初年度として、言語、性別、話者などの相異なる分布を持つ感情音声を用いて、それらの分布を補助タスクと、音声感情を主タスクとするマルチタスク学習（Multi-task learning; MTL）を行った。予備実験として、補助タスクの素性に依存する多様性の特徴空間と排除する不偏性の特徴空間の構築を補助損失の制御により行った。また、近年飛躍的な成果が報告される自己教師あり学習（Self-Supervised Learning; SSL）を用いた事前学習モデルの導入を当初の研究計画に追加した。これらの研究から、自己教師あり学習と従来の教師あり学習（supervised learning）との差を確認できた。その差により、音声感情認識タスクの性能を62％から74％まで向上できることを確認した。その上、本研究の課題である多様かつ不偏な特徴空間をアンサンブル手法により混合した結果、更なる性能向上として78％の世界最高の性能を達した。研究初年度から、これらの予備実験の成果を国際会議へ投稿できたため、本研究課題の進捗状況はおおむね順調に進展していると評価できる。
Strategy for Future Research Activity	今後の研究では、当初の研究計画である２つの項目に加え、自己教師あり学習を用いる事前学習モデルの利活用を新しい研究項目として設定して、以下の三つの項目に基づいて推進する。１）音声の観測特徴から多様な言語と非言語タスクに特定するdisentangledな表現(もつれを解いた表現)を抽出するため、マルチタスク学習における補助損失を動的に制御する手法を研究する。２）１）の成果を基に、音声から言語情報と強調や感情などの非言語情報を統合的に処理し、従来の音声認識よりリッチな音声言語コミュニケーションを実現することを目指す。３）【新たな研究課題】自己教師あり学習を用いる事前学習モデルが生成する特徴空間を分析する。特に、従来の教師あり学習との差を究明することを急ぎ、その結果から多様性と不偏性の最適な融合を持つ高性能かつ不偏的な特徴空間の構築を目指す。
Causes of Carryover	当初の初年度計画では、複数言語の音声データを整備する予備調査と予備実験を考えたが、自己教師あり学習を用いる事前学習モデルの導入が急務であった。また、その二言語に基づく分析を先に急ぎ、大規模な複数言語の音声データを用いる実験を次年度に行うことが研究進行として妥当であると判断した。従いまして、次年度使用額（B-A）を翌年度分として請求した助成金と合わせて、多くの音声感情データの整備と実験に有効的に使用する計画である。