接客訓練のための音声対話システム基盤技術の構築と評価

• Project Area: Studies on intelligent systems for dialogue toward the human-machine symbiotic society
• Project/Area Number: 20H05558
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: University of Yamanashi
• Principal Investigator: 西崎 博光 山梨大学, 大学院総合研究部, 准教授 (40362082)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Project Status: Completed (Fiscal Year 2021)
• Budget Amount: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2020: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
• Keywords: 音声対話システム / 接客訓練 / 敬語評価 / 接客評価 / 音声対話 / 対話管理 / 音声認識 / 音声評価 / 流暢さの判定 / 敬語 / リアルタイム音声認識

Outline of Research at the Start

本研究課題では，飲食店等のサービス業における接客訓練のための音声対話技術と，それを用いた接客訓練音声対話システムの研究開発を行うことを目的としている。本研究の訓練音声対話システムが実現できれば，仮想の「お客様」との対話を実現し，いつでも手軽に接客訓練を行うことができるようになる。よって，従来の接客指導・訓練に係わるコストを削減できることが見込めることはもちろん，本課題で開発する基盤技術を広く公開することで，「訓練のための音声対話」研究分野の発展が見込める。

Outline of Annual Research Achievements

本研究の目的は接客訓練のための音声対話システム基盤の構築と評価である。これを実現するため（１）接客訓練音声対話管理基盤の構築，（２）接客音声評価基盤の構築，（３）訓練対話システムの有用性検証と評価，を実施した。
【項目（１）接客訓練音声対話管理基盤の構築】まず，リアルタイムマイク入力で動作する音声認識基盤を整備した。接客訓練では，敬語などの言い回しが正確に音声認識できる必要がある。既存の音声認識システムでは，敬語などの特殊な言い回しの認識ができない，フィラーなどの有声休止が上手く認識できないという問題があるため，訓練対話に耐えうるリアルタイム音声認識基盤を整えた。開発したリアルタイム音声認識基盤を評価したところ，遅延なく一定の精度で音声認識が実現でき，音声対話システムで利用できていた。次に，CSV形式などで予め用意しておいた接客訓練用のシナリオから，自動的に対話制御を行うアルゴリズムを開発した。汎用的な対話管理システムとなっており，シナリオを用意するだけ，様々な対話シーンに対応できる接客訓練システムが構築できた。
【項目（２）接客音声評価基盤の構築】音声から受ける印象は接客評価では重要なポイントとなるため，音声の流暢さなどの音声印象評価を行う枠組みを開発した。また，接客評価で重要な敬語評価システム，接客が滞りなくスムーズに行われたのかを評価する評価基盤を構築し，接客訓練音声対話システムに実装した。
【項目（３）有用性検証と評価】完成した接客訓練音声対話システムを評価した。被験者27名で3通りの接客訓練を実施した。①本システム（客エージェント表示あり），②本システム（客エージェントなし），③接客マニュアルのみの訓練を行った。実験の結果，①の結果が，実環境の実現度や訓練方法の適切さの評価項目でもっともよい結果となり，実際に訓練システムを使うことで被験者の接客技術が上達した。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Multimodal VR Customer Service Training System Using Conversational Customer Actors (2022)
  • Author(s): 古野 友也、藤田 智、王 東皓、尾身 優治、西崎 博光、宇津呂 武仁、星野 准一
  • Journal Title: 情報処理学会論文誌 Volume: 63 Issue: 1 Pages: 231-241
  • DOI: 10.20729/00215733
  • NAID: 170000186230
  • Year and Date: 2022-01-15
  • Peer Reviewed
• [Journal Article] Spoken dialogue system development at the dialogue robot competition (2021)
  • Author(s): 東中 竜一郎、港 隆史、境 くりま、船山 智、西崎 博光、長井 隆行
  • Journal Title: THE JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN Volume: 77 Issue: 8 Pages: 512-520
  • DOI: 10.20697/jasj.77.8_512
  • NAID: 130008081929
  • ISSN: 0369-4232, 2432-2040
  • Year and Date: 2021-08-01
  • Peer Reviewed / Open Access
• [Journal Article] Comparison of Static and Time-Sequential Features in Automatic Fluency Detection of Spontaneous Speech (2021)
  • Author(s): Deng Huaijin、Utsuro Takehito、Kobayashi Akio、Nishizaki Hiromitsu
  • Journal Title: Proceedings of the 24th Conference of the Oriental COCOSDA Volume: - Pages: 158-163
  • DOI: 10.1109/o-cocosda202152914.2021.9660601
  • Peer Reviewed
• [Journal Article] ExKaldi-RT: A Real-Time Automatic Speech Recognition Extension Toolkit of Kaldi (2021)
  • Author(s): Wang Yu, Chee Siang Leow, Akio Kobayashi, Takehito Utsuro, Hiromitsu Nishizaki
  • Journal Title: Proceedings of 2020 IEEE 10th Global Conference on Consumer Electronics (GCCE) Volume: - Pages: 346-350
  • DOI: 10.1109/gcce53005.2021.9621992
  • Peer Reviewed
• [Journal Article] Spoken Dialog Training System for Customer Service Improvement (2020)
  • Author(s): Yuta Sano, Chee Siang Leow, Soichiro Iida, Takehito Utsuro, Junichi Hoshino, Akio Kobayashi, Hiromitsu Nishizaki
  • Journal Title: Proceedings of the 12th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference Volume: - Pages: 403-408
  • Peer Reviewed / Open Access
• [Journal Article] Development of a Low-Latency and Real-Time Automatic Speech Recognition System (2020)
  • Author(s): Leow Chee Siang, Hayakawa Tomoaki, Nishizaki Hiromitsu, Kitaoka Norihide
  • Journal Title: Proceedings of the 2020 IEEE 9th Global Conference on Consumer Electronics Volume: - Pages: 464-467
  • DOI: 10.1109/gcce50665.2020.9291818
  • Peer Reviewed
• [Journal Article] ExKaldi: A Python-based Extension Tool of Kaldi (2020)
  • Author(s): Wang Yu, Leow Chee Siang, Nishizaki Hiromitsu, Kobayashi Akio, Utsuro Takehito
  • Journal Title: Proceedings of the 2020 IEEE 9th Global Conference on Consumer Electronics Volume: - Pages: 470-473
  • DOI: 10.1109/gcce50665.2020.9291717
  • Peer Reviewed
• [Journal Article] Automatic Fluency Evaluation of Spontaneous Speech Using Disfluency-Based Features (2020)
  • Author(s): Deng Huaijin, Lin Youchao, Utsuro Takehito, Kobayashi Akio, Nishizaki Hiromitsu, Hoshino Junichi
  • Journal Title: Proceedings of the 2020 IEEE International Conference on Acoustics, Speech and Signal Processing Volume: - Pages: 9239-9243
  • DOI: 10.1109/icassp40776.2020.9053452
  • Peer Reviewed
• [Presentation] Kaldiベースのストリーミング音声認識システムの開発 (2021)
  • Author(s): レオ チーシャン，王 宇，小林彰夫，宇津呂武仁，西崎博光
  • Organizer: 日本音響学会2021年秋季研究発表会講演論文集
• [Presentation] 深層学習技術の発展と共に歩む音声認識研究 (2021)
  • Author(s): 西崎博光
  • Organizer: 電子情報通信学会・ネットワークシステム研究会
  • Invited
• [Presentation] 話し方のトレーニングが可能な接客訓練 VR システム (2021)
  • Author(s): 西尾瞳希，飯田宗一郎 ，佐野祐太，Leow Chee Siang，西崎博光， 宇津呂武仁，星野准一
  • Organizer: 情報処理学会研究報告，コンピュータビジョンとイメージメディア
• [Presentation] Kaldiベースの低遅延リアルタイム音声認識システムの開発と評価 (2020)
  • Author(s): レオ チーシャン，早川友瑛，西崎博光，北岡教英
  • Organizer: 日本音響学会 2020年秋季研究発表会講演論文集
• [Presentation] Comparison of With/Without Time Sequential Features in Automatic Fluency Detection of Spontaneous Speech (2020)
  • Author(s): Huaijin Deng，Takehito Utsuro, Akio Kobayashi, Hiromitsu Nishizaki
  • Organizer: 日本音響学会 2020年秋季研究発表会講演論文集
• [Remarks] 西崎研究室2020年度研究成果
  • URL: https://www.alps-lab.org/?page_id=283