| 研究概要 |
本年度は。下記の3つの研究目標と、昨年度未達成であった音源イベントの描画と仮想音生成をほぼ完成させた.
[1]音声入力と動作の処理:音声と動作の対応関係を調べながら.音声と行動様式の解釈を行った.音声解釈は,音声の文字化,形態素解析,意味解析から成る,この文字系列と磁気センサーデータ系列を参照して意味関係を調べた。指示代名詞や副詞に対応した動作から指定された事物や位置を推定した.入力文型と回答で使われる動詞の格構造に応じて,回答文型にデーターを代入して回答文を作成し,[2]により音声化を行った.
[2]音声化と動作の生成.回答文を文節に分け,動詞を調べて対象への操作の有無を調べた.単に対象を参照するだけなら.対象を指差しながら発話させる.対象の操作が必要な場合は,目標位置に物体を移動する動作系列を[3]により作成し,音声に対応した動作系列と音声を合成し,両者を同期させて出力した.描画と発話の両者の処理が終了すると,次の文節部分を送り出し,文節ごとに音声と動作の開始点を同期させることに成功した.
[3]Avatarの動作生成:avatarのモデルは既に製作済みであり,関節角度を入力すれば自由に動作させることはできる.しかし,アバタの関節角度を逐一指定するのは現実的ではない。そこで、対象物の指示や把持では,手先位置から腕の関節角度を逆運動学に基づき計算させた.一方,物体把持時の手形状は予めモーションキャプチャーで与えておいた典型的な把持方法から適切な形状を選択することによって動作系列を生成した.顔には,発声開始時の口形状をテキスチャーマッピングする予定であったが、これは未達成である.
前年度、未達成であった移動中の音源イベントによる連続音の生成は、描画部分をGLで記述し、GLを超高速評価するGLボードで描画を実行させることによって達成ができた.
|
