2018 Fiscal Year Annual Research Report
Research into Constructing a Japanese Sign Language Multi-Dimensional Database
| Project/Area Number |
17H06114
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
長嶋 祐二 工学院大学, 情報学部(情報工学部), 教授 (50138137)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 大介 豊田工業大学, 工学部, 教授 (00329822)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2017-05-31 – 2021-03-31
|
| Keywords | 手話 / データベース / 手話認識 / 手話アニメーション / 言語解析 |
|---|
| Outline of Annual Research Achievements |
本研究では、手話の単語レベル、対話レベルから、言語学的な解析や手話工学分野 で利用可能な、多用途型日本手話データベースを構築するための方法論の検討、並びに、データベー スの構築を目的とする。平成30度は、以下の項目に対して検討を行い昨年度に引き続き、テストデータの収録を行った。
(1) 平成29年度に撮影した言語資料 400単語の検証作業を行い、今年度撮影の方針を検討した。その結果、3次元動作データは、カメラ系と3次元系の同期解析、並びに、CG生成を考慮して、BVH形式データのフレームレートを120fpsから、カメラ系の59.94fpsに合わせて整数倍となる119.88fpsとした。さらに、表情などの非手指動作の詳細分析を考慮して、正面映像を4Kカメラとした。
(2) 今年度収録する言語資料は、前年度と同様に次年度の検証作業のため、手話母語者の研究協力者とともに2,000単語のテスト映像の 収録作業を行った。テスト映像を基に、600単語、 異動作同義語で894単語を東映東京スタジオで収録した。
(3) 前年度試作した多用途データ用のビュアーの機能検証作業では、3次元動作データをUNITYで、カメラ映像系を.NetFrameworkへ変更することで、フレームレートの異なるデータ間の同期再生を可能とできた。
(4) アノテーション支援システムの設計：情報の可視化のためには、扱うデータに対してアノテーション作業を行わなければならない。研究者が簡単にアノテーションできるようにするための支援システムの映像部分の設計を行い、基本動作の確認まで行った。また、次年度の3次元動作部分の設計と映像部分との同期解析に関する設計も進行している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の研究計画では、下記4項目を主に行う申請書となっていた。(1) 言語資料収集方法、(2) 言語資料収録方法、(3) データベース構築方法、(4) 共通課題である。
2018年度が終了した時点の下記項目の達成度を以下に示す。
(1)は、選定方法、言語資料提供者もLARC内のデータベース検討委員会で検討を行った方針で、計画通り進行している。(2)は、2018年度までに、必要精度入力系の機材の確定が終わり、インフォーマントの右と左側のカメラを非手指信号の詳細分析を可能とさせため4Kカメラへ変更する予定である。目標単語数の収録は終了し、計画より少し多めに撮影が完了している。また、2019年度撮影候補単語の絞り込みも順調に進行している。
この項目も、順調に進行していといえる。(3)は、既に収録の終了した1,394単語の多用途型データベースは分担者、LARCメンバーでは共有されている。この項目も、順調に進行していといえる。(4)は、各データ形式を基に、ビュア部の設計、並びに開発は終了している。アノテーションのための解析支援部は、申請時の基本仕様部分は完成している。データ収録を最重要課題として予算を使用するため、提案しているNVSGモデルからの3次元動作データの自動アノテーション方法の検討を新たに追加した。この機能が実装できれば、3次元動作の自動抽出が可能となり、3次元動作からのアノテーション情報を用いた画像データのアノテーションすべき部分の自動候補抽出が可能となる。データベースのアノテーションにかかる費用を大幅に削減できる。
|
| Strategy for Future Research Activity |
平成31年度は、これまでのテスト収録を踏まえた、言語資料収集、並びに、言語資料の収録が重要な項目となる。当初の計画では、平成31年度から32年度にかけて4,000語彙収録予定であった。そこで、2年間の収録語彙の目標数は、3,000～4,000語彙とする。また、データベースの価値を高めるため、対話の同期収録も行う。この対話収録においては、多用途データベースとするための異なる入力形式のデータを収録すると共に、映像のみの複数のカメラのみからの同期収録も予定している。これらのデータベース構築用語彙の収録は、既に8月1日から9月7日までの期間に集中して実施する予定である。撮影に先立って、最終的な語彙の選定、並びに、動作確定作業は、7月までに行う。現在までに、約1,500語彙の選定並びにテスト映像の撮影作業が終了している。
アノテーション支援システムでは、 3次元動作からの手形の自動抽出法について検討を行う。また、JASON(JavaScript Object Notation)形式で試作したアノテーションシステムの最終的なファイル形式の決定を行う。
平成32年度は、当初の目標数 4,000語彙の多用途型手話言語データベースの完成を目指す。また、現在打ち合わせが進行中の国立情報学研究所（NII）情報学研究データリポジトリ（IDR）からの公開を行う予定である。そして、開発したアノテーション支援システムは、すべての利用希望者へ配布を行う。
さらに、BVH形式の3次元動作データは、マルチモーダルコミュニケーションの進展のため、手話の合成を目指す多くの機関へ配布を行う予定である。
|
| Remarks |
工学院大学人間科学・福祉情報学研究室に掲載
|
Research Products
(10 results)
