| Research Abstract |
対面コミュニケーションで用いられる,言語やジェスチャー,視線といった複数の表現モダリティからなる情報伝達のためのまとまり(単位)を「発話」と呼び,日本語と日本手話の「発話」を主な対象とし,統合的関係と連鎖的関係という2つの時間的構造に着目した分析を通じて,「発話」のマルティモダリティの解明を行った.
分析の理論的枠組みに関して,まず,「統合的関係」とは,複数の表現モダリティの間の同時的関係を指す.複数のモダリティ表現のタイミングや,モダリティごとに統合方法がどのように異なっているかが焦点となる.また,「連鎖的関係」とは,質問と応答のような「発話」同士の間の関係のことである.「発話」が言語だけでなく身体動作をも含む構成体であることを重視し,複数の表現モダリティのうちの「どの行動とどの行動とが時間的な連鎖的関係を形成しやすいのか」が焦点となる.
こうした枠組みに基づき,具体的なデータ分析を進めた,対象は,言語としては,音声日本語と日本手話,非言語行動としては,ジェスチャー,視線,ジェスチャー以外の身体動作などで,これらのマルチモーダルなリソースが用いられる自然な状況でのインタラクションをビデオ収録した.収録されたビデオデータに対して,各行動の時間的なタイミングを重視したアノテーションを行い,行動間の同時性や順序関係などを特定していくことを通じて,マルチモーダルな「発話」に含まれるさまざまな規則性を見出した.
分析の際,特に今年度は次の2点に留意した.1.個々の「発話」や局所的な発話連鎖だけでなく,活動の種類のような会話のよりマクロな文脈や状況を十分に考慮する.2.手話については,相互行為的側面と文法的側面の両方を十分に考慮した書き起こしの記法と基準の体系化を目指す.
以上の項目について,メンバー間での意見交換に基づく複数の共同研究を進め,その分析成果を関連学会等で積極的に対外発表した.
|
