| 研究概要 |
対話の認知を詳細に調べるためには,動画・音声データだけではなく,生体信号や動態計測情報から多角的に分析することが必要である.そこで生体信号に基づく手話対話解析のために手話対話解析ツールのMAT(Movie Analysis Tool)に,動画と生体信号の同期機能およびアノテーション機能を追加実装した.拡張はDLL(Dynamic Link Library)を用いて行った.実装の動作検証として心電図の可視化とRRI(R-R wave Interval)分析を行った.RRIが短縮した区間はDLLからMATに渡され,交感神経亢進のタグ付け(メタ情報)が自動的に行われた.これにより映像に対して,生体信号に基づいたアノテーションが行えたことになる.今回の成果で撮影した手話の動画を再生しながら,1フレーム単位でアノテーションを行い,さらに生体信号や動態計測情報など音声よりも比較的周波数が低い時系列情報の処理機構の追加を行った.これにより,多種の生体信号から手話の意味処理分析過程を記録・分析可能になった.
また脳情報通信技術を手話対話解析に応用するために,独立成分解析による単一試行解析の基礎的研究を行った.複数の音声刺激に対して、一つの音声に注意を向けた場合の事象関連電位を計測し分析した.その結果,二社択一課題において,従来の4Hzローパスフィルタの54.2%から90.9%に検出率を向上させた.またオフラインの実験ではあったが,合成音声刺激による五者択一課題において,「ア,イ,ウ,エ,オ」各音声に対するP300反応の検出率を向上させた.検出率最高で94.7%,一音声あたりの検出率は47.0%から85.1%に向上した.それぞれ80%分析することを可能にした.
今後,単一指向解析技術をN400解析に応用し,前述のアノテーションソフトウェアに実装することで,従来,複数の手話動画を提示してその加算平均で分析されてきた事象関連電位N400を,手話の文それぞれで分析できる可能性がある.
|
