1997 Fiscal Year Annual Research Report
健常者の英語教育と知的障害者の言語訓練:音声と映像解析による発話と身体運動の解明
| Project/Area Number |
09551012
|
|---|
| Research Institution | Nagoya Gakuin University |
|---|
Principal Investigator |
増田 喜治 名古屋学院大学, 経済学部, 助教授 (90173757)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
城 哲哉 関東短期大学, 英文科, 助教授 (20187595)
今村 薫 名古屋学院大学, 経済学部, 講師 (40288444)
山本 親 名古屋学院大学, 経済学部, 教授 (40125109)
清水 克正 名古屋学院大学, 外国語学部, 教授 (10083792)
|
|---|
| Keywords | 2次元動画像解析 / 音声分析 / 軌跡 / 速度 / 加速度 / 頭と手の動き |
|---|
| Research Abstract |
平成9年度に開発されたシステムは、指定されたフレームからフレームまでを1フレーム単位で正確に非圧縮のデジタル動画像ファイル(Bitmap/tiff)として生成でき、音声データもWAVファイルとして同時に同一アドレスで生成可能である。動画像ファイルと音声ファイルを、一体化された画像処理解析機能を使って解析し、従来のシステムでは困難であった2次元動画像解析と音声分析を行うシステムの基礎的構築を行なった。しかしながら、音声と動画像の同期に200msから300ms前後のずれが生じていることが明らかとなった。原因は現在調査中であるが、音声処理プログラムが問題でないかと推定される。
実験と対象としては、日本人の英語学習者、外国人の日本語学習者と知的障害者の3グループに分けられる。日本人の場合は手の運動をアップビ-ト中心とするとより英語らしい発話に変化し、外国人の場合は手の運動をダウンビ-ト中心とすると日本語らしい発話となる。知的障害者の場合は音楽を媒体とすると、身体運動と音声発話に顕著な影響があるケースが観察されている。
頭と手の動きの軌跡、速度、加速度と音声の比較を行ない、英語学習者、日本語学習者と知的障害者の身体と発話の有機的関係を追求し、データベースを構築中である。
|
