2017 Fiscal Year Annual Research Report
Research into Constructing a Japanese Sign Language Multi-Dimensional Database
| Project/Area Number |
17H06114
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
長嶋 祐二 工学院大学, 情報学部(情報工学部), 教授 (50138137)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 大介 豊田工業大学, 工学部, 教授 (00329822)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2017-05-31 – 2021-03-31
|
| Keywords | 手話 / データベース / 手話認識 / 手話アニメーション / 言語解析 |
|---|
| Outline of Annual Research Achievements |
本研究では、手話の単語レベル、対話レベルから、言語学的な解析や手話工学分野 で利用可能な、多用途型日本手話データベースを構築するための方法論の検討、並びに、データベー スの構築を目的とする。
平成29年度は、以下の項目に対して検討を行いテストデータの収録を行った。
(1)テスト用400単語の収集と(2)言語資料収録方法：言語解析、工学利用可能な手話語彙の抽出では、手話母語者の研究協力者とともに1,000単語のテスト映像の収録作業を行った。語彙収集においては、NTTの語彙頻度、対話コーパスの語彙出現頻度などを参照して行った。様々な入力機器として手話映像をHDカメラ(60pfps MXF形式)3台、スーパースローカメラ(120fps MXF形式)1台、3次元動作を光学式モーションキャプチャVAICON T160（120fps ,BVHおよびc3d形式データ)42台、赤外線ならびに深度(距離)Kinect2 (30fps xef形式) 1台からのすべてのデータを同期収録方式を検討した。そして、1,000単語のテスト映像から400単語、異動作同義語で545単語を東映東京スタジオで収録した。言語資料提供者は、手話母語者男女各1名の協力を得て行われた。
(3)多用途データビュアーの開発と(4)データベース構築方法の検討：メディアの種類と時間解像度・空間解像度の異なるデータを最大4種類再生可能なビューを開発した。開発するアノテーション支援システムの一部に組み込み予定である。
収録したさ400単語の属性を支援システムで扱い易いデータ構造に関して検討を行った。
なお、本研究の実施及びデータの配布に関して、工学院大学倫理審査委員会 承認番号H29-A-17を得ている。また、2名の言語資料提供者との間で資料の提供並びに配布に関して、同意書を得ている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の柱となる多用途データベース構築のための、3 次元動作データ、多視点ステレオ画像、距離センサーによる距離画像の同期 収集方法の検討が順調に進み、時間解像度が異なっていてもタイムコードを基に収録可能性の評価が行えた。異なるメディアとの同期収録で問題の発生が予想されたKinectからのデータも正確にドロップフレームを検知し補間フレームの挿入により、他のデータのフレーム数の保証が可能となった。また、これら異なるメディアを同期再生可能なビュアーの開発も順調に進み、解析支援システムのめどが立った。
また、収録語数を500単語と設定した目標も、異なり動作数で545単語の収録を行った。
以上のことより、順調あるいはそれ以上の進展と考える。
|
| Strategy for Future Research Activity |
本研究の1つの柱は多用途型手話データの収集である。本研究の申請段階での収録語彙数を考えて、4,000～5,000単語を目標として語彙収集を行う。初年度のテスト映像の収録数は1,000単語であった。そのため、様々な頻度分布資料を基に残り4,000単語の収集を2年度から3年度前半にかけて行う。さらに、本研究課題のもう一つの柱は、多用途型データベースの解析支援システムとなる。既存の対話解析にはマックスプランク研究所のELANを用いる研究者が多い。本研究課題で扱うデータは、ELANでは扱えないデータ形式もある。そこで、ELANならびに工学院大学で以前開発されたMAT,MAを基に、新たな多用途型データベースを解析可能な支援システムン構築を行っていく。
|
