|
本計画研究では、聴覚障害者の情報通信端末を介したコミュニケーション支援を目指し、工学ならびに認知科学的側面から手話の生成・符号化・通信に必要な基礎的な諸技術の研究開発を推進させることを目的とする。本年度は、昨年度の結果から手話観測者の視線と脳波からの認知的な解析、伝送路などの遅延を考慮した手話画像通信、コーパスの収集について、主に検討を行なった。手話対話の単語抽出などのアノテーション作業には、分析能力の高いろう者やコーダなど複数の協力者により分析基礎データの作成を行なった。さらに、前年度と同様にコーパス収集を行い、本特定領域"聴覚班"の他の計画研究や評価用言語コーパスとしての性能をもった実映像による手話映像と電子データの収集・蓄積方法の検討を行った。以下に本年度得られた主な結果を示す。
1)映像の遅れが対話に及ぼす影響を考察するための実験に用いる9種類のタスクの検討では、「カテゴリ合わせ」や「穴埋め加算」による遅延映像による対話分析を行なった。その結果、複雑な課題では、1秒前後の遅延まで遅延時間の増加にもかかわらず対話自体は破綻せずに進行することがわかった。音声対話と比較して、手話は遅延に関して寛容であることがわかった。
2)手話通信における符号化では、前年度の結果を基に新しい符号化手法の提案を行った。その結果は、電子情報通信学会論文誌に掲載された。
3)MS-NMS制御手話の解析では、話者交替現象に注目し解析を行なった。次年度に向け、非抑制手話との相違を分析するアノテーション作業を行なった。
4)言語認知では、事象関連電位N400計測に基づいた意味処理過程解析の検討を行った。手話動画による意味的逸脱文刺激による実験を行なった。また手話・文字による意味的逸脱単語、無意味語を収集し、刺激呈示を行いその事象関連電位を収集した。その結果、手話・文字による意味的逸脱単語でN400が観察され電位は文字刺激で大きいことがわかり、呈示モダリティによって処理過程の違いを示した。
|
