| 研究課題/領域番号 |
23K17273
|
|---|
| 研究種目 |
挑戦的研究(開拓)
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
中区分2:文学、言語学およびその関連分野
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| 研究分担者 |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
|
|---|
| 研究期間 (年度) |
2023-06-30 – 2027-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
25,740千円 (直接経費: 19,800千円、間接経費: 5,940千円)
2026年度: 6,500千円 (直接経費: 5,000千円、間接経費: 1,500千円)
2025年度: 7,150千円 (直接経費: 5,500千円、間接経費: 1,650千円)
2024年度: 6,370千円 (直接経費: 4,900千円、間接経費: 1,470千円)
2023年度: 5,720千円 (直接経費: 4,400千円、間接経費: 1,320千円)
|
|---|
| キーワード | 日本手話 / 非手指要素 / 手話映像処理 / Web手話映像 / スクレイピング / コーパス / 手話映像 / Web / 手話映像同定 |
|---|
| 研究開始時の研究の概要 |
視覚言語である手話の研究においても，機械可読の大規模用例集（コーパス）の重要性が高まっている．しかし，話者の少なさ，コミュニティの小ささ，映像として記録される特異性，映像内の多様な情報の混濁といった問題から，大規模化は容易でない．そこで，本研究は日本手話を念頭に，Web上の手話映像にまで対象を広げ，日本手話映像コーパスの構築のための方法論を確立する．AI技術を活用し，Web上の手話映像を正しく集め，映像内の手話会話部分の同定や情報付与，個人情報などを制御し，今までにない規模の手話コーパスの構築を試みる．研究事例を蓄積し，開発したプログラム群を公開することで，手話研究の進展を誘引する．
|
| 研究実績の概要 |
研究計画に従い、次の3テーマを重点的に推進した。
1. 手話映像内の同定すべき言語要素の精密化：手話では、手指・腕の他にも表情や顔の傾き・前後への動きなどの非手指要素も重要な役割を果たしている。これまで我々の研究では、主に手指腕部に焦点を当てており、とくに顔やその周縁にかかわる情報は十分ではなかった。ここでは、表情や顔の動作なども含め、どういった点を同定すべき言語要素として加えるか、新たに検討を加えた。表情は眉・目・口の変化や、顔は傾きや前後の位置などに帰着することで、機械的な取り扱うこととした。
2. 再策定した言語要素の自動的な同定のための技術開発：新たに加わった言語要素（表情や顔の動作を構成する諸要素）を手話映像内において自動的に同定するための技術開発を進めた。眉・目・口の変化など、基本的には個人個人の最も平均的な状態を基準として与える必要があった。また、映像の解像度の問題から、顔など詳密にとらえられない問題などもある。顔の前後の動作などは、2次元映像に対する3次元位置の推定など、素直に適用できれば良いが、実際にはそこまで精度良くは推定されない。顔の大きさの変化に近似するなどで代替する方法を検討した。
3. Web上の手話映像のスクレイピング：Web上の手話映像を、一般には短い注釈・説明から効率よく見つける工夫を施した。手話動画に付された注釈を元に、派生的にキーワードを増やしていく方法で、相当量の手話映像が検出できることがわかり、スクレイピングも可能である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本課題で注目する一部の非手指要素をとらえるための理論的な枠組みについては、おおむね議論済みである。実装部分については、実験的な検証が未達である点もあるものの、基盤的な技術の導入はなされた。
|
| 今後の研究の推進方策 |
ここまでの議論や作業の成果を、学会発表などで公開する。
|
