2017 Fiscal Year Research-status Report
集音マイクと咽喉マイクを併用した受動的・能動的会話情報収集システムの開発
| Project/Area Number |
16K01543
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
西田 昌史 静岡大学, 情報学部, 准教授 (80361442)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西村 雅史 静岡大学, 情報学部, 教授 (60740363)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 発話区間 / 咽喉マイク / 音声認識 / 音声対話 / 対話破綻 / 話題誘導 |
|---|
| Outline of Annual Research Achievements |
今年度は，咽喉マイクを用いた発話区間検出と音声認識，音響情報と言語情報を利用した対話破綻検出，話題誘導を行う情報収集対話について取り組んだ．それぞれの研究成果について以下に述べる．発話区間検出において，咽喉マイクとピンマイクを併用した手法として，咽喉マイクとピンマイクのそれぞれの音声で発話及び非発話のGMMを学習し，両マイクの音声から得られた尤度の調和平均を求めて統合する手法を提案した．話者5名による1時間の自由会話データで評価を行った結果，F値が昨年度の手法では0.84に対して提案手法では0.9となり，精度の改善が得られた．音声認識においては，接話マイクと雑音の少ない咽喉マイクの音声を併用し，音響的なミスマッチと雑音が少ない音声をDNNを用いて推定する手法を提案した．話者10名による自由発話に対して36%程度発話を重畳させた音声を用いて評価を行った結果，接話マイク単体では文字誤り率45.3%に対して，提案手法では文字誤り率40%となり，認識精度の改善が得られた．対話破綻検出においては，システム発話とユーザ発話から抽出される言語情報とユーザ発話から抽出される音響情報を併用する手法を提案した．自動対話制御を行う対話システムと被験者が雑談対話を44対話行ったデータで評価した結果，音響情報と言語情報を単体で用いる場合に比べて両者を併用することで，対話破綻の検出精度を改善できることを明らかにした．話題誘導を行う情報収集対話においては，Wikipediaから自動抽出した属格ペアを用いた話題誘導によって，雑談対話のような広域ドメインにおいての自然な話題誘導を試みた．被験者5名を対象に話題誘導を行うシステムとテキストチャットをしてもらい，話題の遷移の自然さを5段階で評価した．その結果，属格ペアによる話題誘導は1単語のみの誘導と比べ， 自然性を5段階で0.8程度改善することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
発話区間検出では，多人数会話の音声認識の評価にも適用し，有効性を示すことができた．音声認識では，これまであまり検討されて来なかった咽喉マイクと接話マイクを併用することで発話重畳に頑健な音声認識を実現することができた．対話破綻検出では，これまであまり検討されて来なかった音響情報と言語情報を併用した手法の有効性を明らかにできた．話題誘導による情報収集対話では，属格ペアによる話題誘導がより自然な対話を実現できることが明らかになった．以上のことから，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
対話破綻検出では，音声認識誤りが生じた場合の検証，音響情報と言語情報の組み合わせ方についての検討を行う予定である．話題誘導による情報収集対話では，発話欲求度の推定精度を向上させるために，様々な音響特徴量について検討を行い，POMDPなどを用いて推定ミスを前提とした対話戦略を獲得することによって，よりユーザ満足度の高い情報収集対話システムを構築する予定である．
|
| Causes of Carryover |
理由：当初の計画よりも学会発表の件数が少なかった．
使用計画：昨年度発表できなかった分、研究成果を広く公表できるように
より多く学会発表を行う予定である．
|
