実時間音声理解応答を利用した機械操作における指動作訓練支援システムの研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08750301
• Research Institution: The University of Tokyo
• Principal Investigator: WARD Nigel 東京大学, 大学院・工学系研究科, 助教授 (00242008)
• Keywords: 実時間反応 / 対話 / 音声 / マン・マシーン・インタフェース / マルチ・モダル・インタフェース / 訓練支援

Research Abstract

本研究の目的は複雑な機械を操作する人の訓練を支援するシステムを作成ことであった。具体的には、音声による使命およびフィードバックを与えるシステムを目指した。その意義は一般的にマン・マシン・インタフェースにおける実時間のやりとりの実現の研究の貢献にある。
計画したシステムは出来上がらなかった。以下その問題点および進歩をぞれぞれ述べる。
1。オペレーターの打つべきキ-を信頼的に予測することは難しいことであるとわかった。それは、ユーザによって、同じ目的であっても、それに達する戦略はさまざまであるからである。システムの予測どおりでないユーザーを批判するのは間違いであるため、一般のユーザーが使えるシステムはまだ無理である。今後、操作の戦略を認識するアルゴリズムの研究が必要である。
2。それでも、基礎研究として、音声対話システムにおける実時間のやりとりを研究した。目的のある、および自由な人間同士の会話を録音し、分析した。主にそのタイミング、特に、あいづち及び情報を受け取った合い図とその前の相手の発話との関係を重視した。それで日本語においては、話者の低ピッチ領域の生成に対して聞き手があいづちを打っていることが分かった。この規則に基づいてあいづちの発生を予測すると、人間同士の自然な会話データにおけるあいづちと良く一致した。そこでこの規則に従ってあいづちを打つシステムを構成し、被験者に会話させたところ、相手を人間だと思わせることができた場合もあったという結果を英語などに延長した。それに、ゲームのような計算機を用いた教育支援システムを作って、それにおける言葉の使用及びタイミングを実験的に調査した。

Research Products

• [Publications] Nigel WARD: "Responsiveness in Dialog and Priorities for Language Research" Systems and Cybernetics. (発表予定). (1997)
• [Publications] Nigel WARD: "Using Prosodic Clues to Decide When to Produce Back-channel Utterances" International Conference on Spoken Language Processing. 1728-1731 (1996)
• [Publications] Nige WARD and Wataru Tshukahara: "A Responsive Dialog System" 情報処理学会インタラクション'97論文集. 59-60 (1997)
• [Publications] Nigel WARD: "Reactive Responsiveness in Dialog" AAAI Fall Symposium on Embodied Cognition and Action. 129-133 (1996)
• [Publications] Nigel WARD: "Artificial Intelligence and Other Approaches to Speech Understanding : case study in methodology." 人工知能学会第10回全国大会(論文集). 403-406 (1996)
• [Publications] Nigel WARD: "Second Thoughts on an Artificial Intelligence Approach to Speech Understanding" 人工知能学会言語音声理解と対話研究会第15回(論文集). 16-23 (1996)