2019 Fiscal Year Annual Research Report
Research into Constructing a Japanese Sign Language Multi-Dimensional Database
| Project/Area Number |
17H06114
|
|---|
| Research Institution | Kogakuin University |
|---|
Principal Investigator |
長嶋 祐二 工学院大学, 情報学部(情報工学部), 教授 (50138137)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
原 大介 豊田工業大学, 工学部, 教授 (00329822)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
酒向 慎司 名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
|
|---|
| Project Period (FY) |
2017-05-31 – 2021-03-31
|
| Keywords | 手話 / データベース / 手話認識 / 手話アニメーション / 言語解析 |
|---|
| Outline of Annual Research Achievements |
本研究では、手話の単語レベル、対話レベルから、言語学的な解析や手話工学分野で利用可能な、多用途型日本手話データベースを構築するための方法論の検討、並びに、データベースの構築を目的とする。令和元年度は、前年度までのテスト撮影の結果を踏まえ以下の項目に対して検討を行い本格的な3次元動作と映像のデータの収録を行った。(1)前年度までに撮影した言語資料 1,000単語の検証作業を行い、今年度撮影の方針を検討した。その結果、3次元動作データは、カメラ系と3次元系の同期解析、並びに、CG生成を考慮して、昨年度決めたフレームレートをとした。単語の収録では、表情などの非手指動作の詳細分析を考慮して、正面映像だけだった4Kカメラを左右の両側面を追加した。(2)今年度収録する言語資料は、7月までに手話母語者の研究協力者と共同で候補単語3,800単語のプロンプタ用の映像の撮影を終了した。これと並行して、対話撮影のためのテーマ検討も行った。本格的な収録は、8月から9月にかけて東映東京スタジオで収録した。対話撮影は、8テーマのデータベース収録候補の同期撮影を実施した。単語撮影は、3,873ラベルで総動作単語数では4,965単語の収録を行った。3年間で、合計4,873ラベルで総動作数では6,359単語の収録が完了した。当初の目標の5,000単語を上回る成果が得られた。(3)アノテーション支援システムでは、昨年度までに完成したビュワーの組み込みが完了して、支援部の3次元動作分析部分に着手した。(4)対話データ処理では、追加予算を含めて3対話の3次元動作データの生成が完了し、先行した部分は終了して、追加予算の部分は現在進行している。次年度のデータ公開へ向け単語収録データの分割並びにラベルの張替え作業も進行している。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究の研究計画では、下記4項目を主に行う申請書となっていた。(1)言語資料収集方法、(2)言語資料収録方法、(3)データベース構築方法、(4)共通課題である。2019年度が終了した時点の下記項目の達成度を以下に示す。(1)は、選定方法、言語資料提供者もLARC内のデータベース検討委員会で検討を行った方針で、計画通り進行している。(2)は、2018年度までに、必要精度入力系の機材の確定が終わり、インフォーマントの右と左側のカメラを非手指信号の詳細分析を可能とさせため4Kカメラの3台体制が実現できた。計画年全体での収録目標単語数の5,000単語を上回り、動作数では6,359単語の収録が完了している。また、2020年度に収録が可能となった時のために追加撮影候補単語の抽出作業も終了した(コロナウィルスの影響で追加撮影が難しくなっている)。8月に行った手話対話収録では、世界初の光学式モーションキャプチャと複数台の4Kカメラとの同期収録による高精度・高精細3次元動作の対話収録にも成功した。(3)は、全撮影単語の分類作業も順調に進行している。データはLARCメンバーでは共有されている。この項目も、順調に進行していといえる。(4)は、ビュア部と支援部の統合し、当初の基本機能は組み込み終了している。単語の自動分割機能も組み込みができ、アニメーション生成に応用可能となった。さらに、自動アノテーションの検討し、一部実装を開始している。
|
| Strategy for Future Research Activity |
令和2年度は、目標単語数の撮影が終了しているので、言語資料としての価値を高める作業が重要となってくる。そこで、同動作異義語、異動作同義語の分類作業とラベル付け、及び、適切な位置での単語分割を行う。昨年8月に行った手話対話収録では、世界初の光学式モーションキャプチャと複数台の4Kカメラとの同期収録による高精度・高精細3次元動作の対話収録にも成功した。公開予定の3対話分のデータは、母語者の協力により開発中のアノテーション支援システムの機能確認を兼ねて、手指信号のみではなく非手指信号を含めたより詳細な分析作業を追加で行う。そして、3次元動作と映像データが同期している対話データは、新たな認識手法、手話動作認知からの言語学的な解析手法の発見などにつながる可能性のあるため、データとしての量と質との両面での価値を高める目的で、3次元動作データ生成のためのポスト処理を追加する予定です。協議が進行している国立情報学研究所（NII）情報学研究 データリポジトリ（IDR）からの公開を行うための最後の作業を行う。そして、開発したアノテーション支援システムは、すべての利用希望者へ配布を行うため、最終機能検証と共に、ソースファイルの公開を含めた最後の準備作業を行う。さらに、BVH形式の3次元動作データは、肖像権問題がないため、マルチモーダルコミュニケーションの進展のため、手話の合成を目指す多くの機関へ配布を行う予定である。最終年度のまとめ作業を行う。
|
Research Products
(17 results)
