| 研究概要 |
本研究の目的は,手話の非手指信号の言語学的機能やコミュニケーションのための認知機能を解明し,その結果を手話画像の符号化,アニメーション生成などに適用することである.本研究では,下記の主な項目について成果を得た.
1.認知的機構の解析では,事象関連電位N400計測に基づいた意味処理過程解析の検討を行った.その結果,手話・文字による意味的逸脱単語でN400が観察され電位は文字刺激で大きいことがわかり,呈示モダリティによって処理過程の違いを示した.対視線データの計測では,視線の停留と習熟度との相関を示し,理解度が上がれば顔への停留率が向上する結果を得た.
2.解析支援システムでは,電子タグ付けならびに,磁気センサーからの3次元データを描画するシステムの構築を行った.この支援システムにより,映像と生理データを同期して解析することが可能となり,解析時間の効率化が図れた.
3.記述・解析部では,手話の階層的形態素NVSモデルの非手指信号の記述機能の強化を行なった.
4.対話モデルの解析では,抑制-非抑制手話を解析し,抑制部位の調動が表出可能な身体動作へ変形するメカニズムの存在が示唆された.また,手話の遅延検知限は100〜200msであることを明らかにした.音声会話と比較して,手話は遅延に関して寛容であることを示した.
5.画像符号化では,さまざまなサイズの手話映像の評価から読み取りには,空間解像度より画像のフレームレートが重要であることがわかった.上記の成果を基に手話動画像符号化として新しいAdapSync符号化を提案した.
本研究を通して得られた成果は,国際会議をはじめ電子情報通信学会論文誌・学会誌,ヒューマンインタフェース学会論文誌・学会誌などに掲載あるいは掲載予定である.
尚,本研究の成果をうけ、手話の対話解析を通し脳科学的な認知科学的側面からの理解機構解明の作業を続行している。
|
