2014 Fiscal Year Annual Research Report
| Project/Area Number |
24500256
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
CAMPBELL Nick 奈良先端科学技術大学院大学, 情報科学研究科, 客員教授 (50395109)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
定延 利之 神戸大学, 国際文化学研究科, 教授 (50235305)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | ヒューマンインターフェース技術 / 非言語コミュニケーション / 感性情報処理 / 音声合成 / マルチモーダルインターフェース / バイオメトリックセンシング / 自律神経系 |
|---|
| Outline of Annual Research Achievements |
本研究は発話の言語的内容のみならず、土台となる伝達意図の処理に注目し、どのように音声処理を行うかに関して取り組む。我々は発話から、状況により変わる話し手の意図の予測、あるいは解釈の支援のために、発話のノンバーバル情報の解釈を組み込んだシステムを開発することを目的としている。自然対話の内容は、発話の意味を伝達することと同時に、社交的なつながりにも大いに寄与している。このような社交的な交流を認識することには、音声情報や話し方（対話中では何を言ったかよりも最重要な単位）といったものが必要不可欠である。我々は音声処理に、発話内容と並んで、話し方情報を含めることにより、より価値のある発話の表現と理解を実現することを目標としている。
本研究課題において、発話者・参加者の心理的情報を具体的に測るため、バイオメトリックセンサーを利用した。ANS(autonomic nervous system)情報とは、ガルバニック皮膚反応による物理的データである。アイルランドのダブリン大学と共同で、”D-ANSデータの収録を、Italian Institute of Technologyの研究者シャノン・ヘニング氏と行った。これまで参加者の参加態度(心理情報等)を手動でアノテーションしデータを構築していたが本研究では、バイオメトリックセンサーにより同様な結果が得られるかどうかの確認をするためデータ収集・分析を行った。米国マサチューセッツ工科大が開発したQセンサーの技術を導入し、対話インタラクションをマルチモーダル技術に収録しながら、発話者のバイオメトリックセンシングを同時に行った。
最終年度にあたる本年は、その収録したDANSバイオメトリックデータを含む音声収録を分析し、対話化や参加情報を付与し対話音声コーパスという形で公開した。それとともにコンピューターによる音声対話システムの開発のため新たなソフト（アルゴリズム）を開発した。
|
