聞き手の反応に着目した音声会話の解析と生成

• 研究課題/領域番号: 22240013
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 京都大学
• 研究代表者: 河原 達也 京都大学, 学術情報メディアセンター, 教授 (00234104)
• 研究分担者: 角 康之 公立はこだて未来大学, システム情報科学部, 教授 (30362578) ; 秋田 祐哉 京都大学, 学術情報メディアセンター, 助教 (90402742) ; 森 信介 京都大学, 学術情報メディアセンター, 准教授 (90456773)
• 研究期間 (年度): 2010-04-01 – 2014-03-31
• 研究課題ステータス: 完了 (2013年度)
• 配分額: 46,280千円 (直接経費: 35,600千円、間接経費: 10,680千円); 2013年度: 10,140千円 (直接経費: 7,800千円、間接経費: 2,340千円); 2012年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円); 2011年度: 10,530千円 (直接経費: 8,100千円、間接経費: 2,430千円); 2010年度: 15,080千円 (直接経費: 11,600千円、間接経費: 3,480千円)
• キーワード: 画像、文章、音声等認識 / コンテンツ・アーカイブ / エージェント / マルチモーダルインターフェース / 音声会話 / 音声認識 / 自然言語解析 / 会話分析 / インタラクション / 話し言葉 / アーカイブ

研究概要

音声によるコミュニケーションの解析とそれに基づく音声対話システムの高度化を行った。本研究では、特に聞き手の反応に着目した新たなアプローチを提案し、そのモデル化と実現を行った。人間どうしのインタラクションにおいて、聞き手の視線・相槌や笑い声などの反応を検出し、これらの情報に基づいて興味度・理解度の推定を行った。また、聞き手の興味や焦点に応じて、話題を選択して情報提供する音声対話システムの構築も行った。

研究成果

• [雑誌論文] Lexicon optimization based on discriminative learning for automatic speech recognition of agglutinative language (2014)
  • 著者名/発表者名: M. Ablimit, T. Kawahara, and A. Hamdulla
  • 雑誌名: Speech Communication 巻: Vol.60 ページ: 78-87
  • DOI: 10.1016/j.specom.2013.09.011
  • 査読あり
• [雑誌論文] 述語項構造を介した文の選択に基づく音声対話用言語モデルの構築 (2014)
  • 著者名/発表者名: 吉野幸一郎, 森信介, 河原達也
  • 雑誌名: 人工知能学会論文誌 巻: Vol.29, No.1 ページ: 53-59
  • NAID: 130003382439
  • 査読あり
• [雑誌論文] 講演に対する読点の複数アノテーションに基づく自動挿入 (2013)
  • 著者名/発表者名: 秋田祐哉, 河原達也
  • 雑誌名: 情報処理学会論文誌 巻: Vol.54, No.2 ページ: 463-470
  • NAID: 110008584131
  • 査読あり
• [雑誌論文] 音声認識技術の現状と将来展望 (2013)
  • 著者名/発表者名: 河原達也
  • 雑誌名: 電気学会誌 巻: 133 ページ: 364-367
  • NAID: 10031175267
• [雑誌論文] 音声対話システムの進化と淘汰 ―歴史と最近の技術動向― (2013)
  • 著者名/発表者名: 河原達也
  • 雑誌名: 人工知能学会誌 巻: 28
• [雑誌論文] A monotonic statistical machine translation approach to speaking style transformation (2012)
  • 著者名/発表者名: G. Neubig, Y. Akita, S. Mori, and T. Kawahara
  • 雑誌名: Computer Speech and Language 巻: Vol.26, No.5 号: 5 ページ: 349-370
  • DOI: 10.1016/j.csl.2012.02.003
  • NAID: 120004247251
  • 査読あり
• [雑誌論文] 会議音声認識におけるBICに基づく高速な話者正規化と話者適応 (2012)
  • 著者名/発表者名: 三村正人, 河原達也
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J95-D, No.7 ページ: 1467-1475
  • NAID: 10031084093
  • 査読あり
• [雑誌論文] Bayesian learning of a language model from continuous speech (2012)
  • 著者名/発表者名: G. Neubig, M. Mimura, S. Mori, and T. Kawahara
  • 雑誌名: IEICE Trans 巻: Vol.E95-D, No.2 ページ: 614-625
  • NAID: 10030611238
  • 査読あり
• [雑誌論文] 話し言葉の音声認識の進展 ―議会の会議録作成から講演・講義の字幕付与へ― (2012)
  • 著者名/発表者名: 河原達也
  • 雑誌名: メディア教育研究 巻: 9
• [雑誌論文] 音声認識技術を用いた講演・講義への字幕付与 (2012)
  • 著者名/発表者名: 河原達也
  • 雑誌名: 映像情報メディア学会誌 巻: 66
  • NAID: 110009579299
• [雑誌論文] Bayesian learning of a language model from continuous speech (2012)
  • 著者名/発表者名: G.Neubig, M.Mimura, S.Mori, T.Kawahara
  • 雑誌名: IEICE Trans 巻: Vol.E95-D,No.2 ページ: 614-625
  • NAID: 10030611238
  • 査読あり
• [雑誌論文] 述語項の類似度に基づく情報抽出・推薦を行う音声対話システム (2011)
  • 著者名/発表者名: 吉野幸一郎, 森信介, 河原達也
  • 雑誌名: 情報処理学会論文誌 巻: Vol.52, No.12 ページ: 3386-3397
  • NAID: 110008719916
  • 査読あり
• [雑誌論文] 音声会話コンテンツにおける聴衆の反応に基づく 音響イベントとホットスポットの検出 (2011)
  • 著者名/発表者名: 河原達也, 須見康平, 緒方淳, 後藤真孝
  • 雑誌名: 情報処理学会論文誌 巻: Vol.52, No.12 ページ: 3363-3373
  • NAID: 110008719914
  • 査読あり
• [雑誌論文] 統計的言語モデル変換を用いた音響モデルの準教師付き学習 (2011)
  • 著者名/発表者名: 三村正人, 秋田祐哉, 河原達也
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J94-D, No.2 ページ: 460-468
  • NAID: 110008440445
  • 査読あり
• [雑誌論文] 音声会話コンテンツにおける聴衆の反応に基づく音響イベントとホットスポットの検出 (2011)
  • 著者名/発表者名: 河原達也, 須見康平, 緒方淳, 後藤真孝
  • 雑誌名: 情報処理学会論文誌 巻: Vol.52, No.12 ページ: 3363-3373
  • NAID: 110008719914
  • 査読あり
• [雑誌論文] 統計的言語モデル変換を用いた音響モデルの準教師つき学習 (2011)
  • 著者名/発表者名: 三村正人, 秋田祐哉, 河原達也
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J94-D,No2 ページ: 460-468
  • NAID: 110007990625
  • 査読あり
• [雑誌論文] Online unsupervised classification with model comparison in the Variational Bayes framework for voice activity detection (2010)
  • 著者名/発表者名: D. Cournapeau, S. Watanabe, A. Nakamura, and T. Kawahara
  • 雑誌名: IEEE J. Selected Topics in Signal Processing 巻: Vol.4, No.6 号: 6 ページ: 1071-1083
  • DOI: 10.1109/jstsp.2010.2080821
  • NAID: 120002598753
  • 査読あり
• [雑誌論文] 会議録作成支援のための国会審議の音声認識システム (2010)
  • 著者名/発表者名: 秋田祐哉, 三村正人, 河原達也
  • 雑誌名: 電子情報通信学会論文誌 巻: Vol.J93-D, No.9 ページ: 1736-1744
  • NAID: 110007123305
  • 査読あり
• [雑誌論文] Robust speech recognition based on dereverberation parameter optimization using acoustic model likelihood (2010)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 雑誌名: IEEE Trans. Audio, Speech ￥& Language Process 巻: Vol.18, No.7 号: 7 ページ: 1708-1716
  • DOI: 10.1109/tasl.2010.2052610
  • NAID: 120002511317
  • 査読あり
• [雑誌論文] Statistical transformation of language and pronunciation models for spontaneous speech recognition (2010)
  • 著者名/発表者名: Yuya Akita and Tatsuya Kawahara
  • 雑誌名: IEEE Trans. Audio Speech & Language Process 巻: Vol.18, No.6 号: 6 ページ: 1539-1549
  • DOI: 10.1109/tasl.2009.2037400
  • NAID: 120002511319
  • 査読あり
• [雑誌論文] Speech activity detection for multi-party conversation analyses based on likelihood ratio test on spatial magnitude (2010)
  • 著者名/発表者名: K. Ishizuka, S. Araki, and T. Kawahara
  • 雑誌名: IEEE Trans. Audio, Speech & Language Process 巻: Vol.18, No.6 号: 6 ページ: 1354-1365
  • DOI: 10.1109/tasl.2009.2033955
  • 査読あり
• [雑誌論文] Detection of hot spots in poster conversations based on reactive tokens of audience. (2010)
  • 著者名/発表者名: T.Kawahara, K.Sumi, Z.Q.Chang, K.Takanashi.
  • 雑誌名: Proc.INTERSPEECH ページ: 3042-3045
  • 査読あり
• [雑誌論文] Classroom note-taking system for hearing impaired students using automatic speech recognition adapted to lectures. (2010)
  • 著者名/発表者名: T.Kawahara, N.Katsumaru, Y.Akita, S.Mori.
  • 雑誌名: Proc.INTERSPEECH ページ: 626-629
  • 査読あり
• [学会発表] Smart posterboard : Multi-modal sensing and analysis of poster conversations (2013)
  • 著者名/発表者名: T. Kawahara
  • 学会等名: Proc. APSIPA ASC, (plenary overview talk)
  • 発表場所: 台湾・高雄
• [学会発表] Estimation of interest and comprehension level of audience through multi-modal behaviors in poster conversations (2013)
  • 著者名/発表者名: T. Kawahara, S. Hayashi, and K. Takanashi
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: フランス・リヨン
• [学会発表] Incorporating semantic information to selection of web texts for language model of spoken dialogue system (2013)
  • 著者名/発表者名: K. Yoshino, S. Mori, and T. Kawahara
  • 学会等名: Proc. IEEE-ICASSP
  • 発表場所: カナダ・バンクーバー
• [学会発表] Language modeling for spoken dialogue system based on filtering using predicate-argument structures (2012)
  • 著者名/発表者名: K. Yoshino, S. Mori, and T. Kawahara
  • 学会等名: Proc. COLING
  • 発表場所: インド・ムンバイ
• [学会発表] Hybrid vector space model for flexible voice search (2012)
  • 著者名/発表者名: C. Lee and T. Kawahara
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 米国・ロサンジェルス
• [学会発表] Language modeling for spoken dialogue system based on sentence transformation and filtering using predicate-argument structures (2012)
  • 著者名/発表者名: K. Yoshino, S. Mori, and T. Kawahara
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 米国・ロサンジェルス
• [学会発表] Automatic transcription of lecture speech using language model based on speaking-style transformation of proceeding texts (2012)
  • 著者名/発表者名: Y. Akita, M. Watanabe, and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 米国・ポートランド
• [学会発表] Dereverberation based on wavelet packet filtering for robust automatic speech recognition (2012)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 米国・ポートランド
• [学会発表] Prediction of turn-taking by combining prosodic and eye-gaze information in poster conversations (2012)
  • 著者名/発表者名: T. Kawahara, T. Iwatate, and K. Takanashi
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 米国・ポートランド
• [学会発表] Can we predict who in the audience will ask what kind of questions with their feedback behaviors in poster conversation? (2012)
  • 著者名/発表者名: T. Kawahara, T. Iwatate, T. Tsuchiya, and K. Takanashi
  • 学会等名: Proc. Interdisciplinary Workshop on Feedback Behaviors in Dialog
  • 発表場所: 米国・ポートランド
• [学会発表] Transcription system using automatic speech recognition for the Japanese Parliament (Diet) (2012)
  • 著者名/発表者名: T. Kawahara
  • 学会等名: Proc. AAAI/IAAI
  • 発表場所: カナダ・トロント
• [学会発表] Multi-modal sensing and analysis of poster conversations toward smart posterboard (2012)
  • 著者名/発表者名: T. Kawahara
  • 学会等名: Proc. SIGdial Meeting Discourse ￥& Dialogue
  • 発表場所: 韓国・ソウル
• [学会発表] Discriminative approach to lexical entry selection for automatic speech recognition of agglutinative language (2012)
  • 著者名/発表者名: M. Ablimit, T. Kawahara, and A. Hamdulla
  • 学会等名: Proc. IEEE-ICASSP
  • 発表場所: 京都
• [学会発表] New Transcription System using Automatic Sceech Recognition (ASR) in the Japanese Parliament (Diet) (2011)
  • 著者名/発表者名: Tatsuya Kawahara
  • 学会等名: Intersteno IPRS
  • 発表場所: フランス・パリ
  • 年月日: 2011-07-14
• [学会発表] Optimized wavelet-based speech enhancement for speech recognition in noisy and reverberant conditions (2011)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 中国・西安
• [学会発表] Fast speaker normalization and adaptation based on BIC for meeting speech recognition (2011)
  • 著者名/発表者名: M. Mimura and T. Kawahara
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 中国・西安
• [学会発表] Lexicon optimization for automatic speech recognition based on discriminative learning (2011)
  • 著者名/発表者名: M. Ablimit, T. Kawahara, and A. Hamdulla
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 中国・西安
• [学会発表] Info-concierge : Proactive multi-modal interaction through mind probing (2011)
  • 著者名/発表者名: T. Hirayama, Y. Sumi, T. Kawahara, and T. Matsuyama
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: 中国・西安
• [学会発表] Combining slot-based vector space model for voice book search (2011)
  • 著者名/発表者名: C. Lee, T. Kawahara, and A. Rudnicky
  • 学会等名: Proc. Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 発表場所: スペイン・グラナダ
• [学会発表] Automatic comma insertion of lecture transcripts based on multiple annotations (2011)
  • 著者名/発表者名: Y. Akita and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: イタリア・フィレンチェ
• [学会発表] Denoising using optimized wavelet filtering for automatic speech recognition (2011)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: イタリア・フィレンチェ
• [学会発表] Spoken dialogue system based on information extraction using similarity of predicate argument structures (2011)
  • 著者名/発表者名: K. Yoshino, S. Mori, and T. Kawahara
  • 学会等名: Proc. SIGdial Meeting Discourse ￥& Dialogue
  • 発表場所: 米国・ポートランド
• [学会発表] Automatic transcription of parliamentary meetings and classroom lectures. (2010)
  • 著者名/発表者名: T.Kawahara.
  • 学会等名: Int'l Sympo. Chinese Spoken Language Processing (ISCSLP)
  • 発表場所: 台湾・台南
  • 年月日: 2010-12-03
• [学会発表] Optimizing wavelet parameters for dereverberation in automatic speech recognition (2010)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 学会等名: Proc. APSIPA ASC
  • 発表場所: シンガポール
• [学会発表] Automatic transcription of parliamentary meetings and classroom lectures - a sustainable approach and real system evaluations - (2010)
  • 著者名/発表者名: T. Kawahara
  • 学会等名: Proc. Int'l Sympo. Chinese Spoken Language Processing (ISCSLP)
  • 発表場所: 台湾・台南
• [学会発表] Spoken dialogue system based on information extraction from web text (2010)
  • 著者名/発表者名: K. Yoshino and T. Kawahara
  • 学会等名: Proc. Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 発表場所: 御殿場
• [学会発表] Detection of hot spots in poster conversations based on reactive tokens of audience (2010)
  • 著者名/発表者名: T. Kawahara, K. Sumi, Z.Q.Chang, and K. Takanashi
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 幕張
• [学会発表] Learning a language model from continuous speech (2010)
  • 著者名/発表者名: G. Neubig, M. Mimura, S. Mori, and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 幕張
• [学会発表] Classroom note-taking system for hearing impaired students using automatic speech recognition adapted to lectures (2010)
  • 著者名/発表者名: T. Kawahara, N. Katsumaru, Y. Akita, and S. Mori
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 幕張
• [学会発表] An improved wavelet-based dereverberation for robust automatic speech recognition (2010)
  • 著者名/発表者名: R. Gomez and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 幕張
• [学会発表] Semi-automated update of automatic transcription system for the Japanese national congress (2010)
  • 著者名/発表者名: Y. Akita, M. Mimura, G. Neubig, and T. Kawahara
  • 学会等名: Proc. INTERSPEECH
  • 発表場所: 幕張
• [学会発表] Analysis on prosodic features of Japanese reactive tokens in poster conversations (2010)
  • 著者名/発表者名: T. Kawahara, Z.Q. Chang, and K. Takanashi
  • 学会等名: Proc. Int'l Conf. Speech Prosody
  • 発表場所: 米国・シカゴ
• [学会発表] Smart posterboard: Multi-modal sensing and analysis of poster conversations
  • 著者名/発表者名: T.Kawahara
  • 学会等名: APSIPA ASC
  • 発表場所: 台湾・高雄
  • 招待講演
• [学会発表] Predicate argument structure analysis using partially annotated corpora
  • 著者名/発表者名: K.Yoshino, S.Mori, and T.Kawahara
  • 学会等名: IJCNLP
  • 発表場所: 名古屋国際会議場
• [学会発表] Estimation of interest and comprehension level of audience through multi-modal behaviors in poster conversations
  • 著者名/発表者名: T.Kawahara, S.Hayashi, and K.Takanashi
  • 学会等名: INTERSPEECH
  • 発表場所: フランス・リヨン
• [学会発表] Incorporating semantic information to selection of web texts for language model of spoken dialogue system
  • 著者名/発表者名: K.Yoshino, S.Mori, and T.Kawahara
  • 学会等名: IEEE-ICASSP
  • 発表場所: カナダ・バンクーバー
• [学会発表] スマートポスターボード: ポスター会話のマルチモーダルなセンシングと解析
  • 著者名/発表者名: 河原達也
  • 学会等名: 人工知能学会 SIG-Challenge
  • 発表場所: 京都大学
  • 招待講演
• [学会発表] 音声認識の方法論に関する考察―世代交代に向けて―
  • 著者名/発表者名: 河原達也
  • 学会等名: 情報処理学会 SIG-SLP
  • 発表場所: ホテルサンバレー富士見(静岡県伊豆の国市)
  • 招待講演
• [学会発表] 音声認識の方法論に関する考察―歴史的変遷と今後の展望―
  • 著者名/発表者名: 河原達也
  • 学会等名: 情報処理学会 SIG-MUS
  • 発表場所: お茶の水女子大学
  • 招待講演
• [学会発表] Transcription system using automatic speech recognition for the Japanese Parliament (Diet)
  • 著者名/発表者名: Tatsuya Kawahara
  • 学会等名: AAAI/IAAI
  • 発表場所: カナダ・トロント
• [学会発表] Multi-modal sensing and analysis of poster conversations toward smart posterboard
  • 著者名/発表者名: Tatsuya Kawahara
  • 学会等名: SIGdial Meeting Discourse & Dialogue
  • 発表場所: 韓国・ソウル大学
  • 招待講演
• [学会発表] スマートポスターボード: ポスター発表における場のマルチモーダルなセンシングと認識
  • 著者名/発表者名: 河原達也
  • 学会等名: 電子情報通信学会 パターン認識・メディア処理研究会
  • 発表場所: 大阪府立大学
  • 招待講演
• [学会発表] 音声対話システムの進化と淘汰
  • 著者名/発表者名: 河原達也
  • 学会等名: 人工知能学会 言語・音声理解と対話処理研究会
  • 発表場所: ニューウェルシティ湯河原（静岡県熱海市）
  • 招待講演
• [学会発表] スマートポスターボード: ポスター会話のマルチモーダルなセンシングと認識
  • 著者名/発表者名: 河原達也
  • 学会等名: 電子情報通信学会 音声研究会
  • 発表場所: 滝の湯（山形県天童市）
  • 招待講演
• [図書] Julius : Open-source software toolkit for large vocabulary continuous speech recognition. (2010)
  • 著者名/発表者名: T.Kawahara, A.Lee, K.Shikano.
  • 出版者: Consideration Books
• [備考]
  • URL: http://www.ar.media.kyoto-u.ac.jp/
• [備考]
  • URL: http://www.ar.media.kyoto-u.ac.jp/