| 研究課題/領域番号 |
20H01262
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分02060:言語学関連
|
|---|
| 研究機関 | 立命館大学 |
|---|
研究代表者 |
田中 省作 立命館大学, 文学部, 教授 (00325549)
|
|---|
| 研究分担者 |
本田 久平 大分工業高等専門学校, 電気電子工学科, 教授 (40342589)
長谷川 由美 近畿大学, 生物理工学部, 准教授 (40585220)
バイティガ ザカリ 沖縄工業高等専門学校, メディア情報工学科, 准教授 (40462155)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2023年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2022年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2021年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2020年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
|
|---|
| キーワード | 日本手話 / コーパス / 手話映像検索 / 手話コーパス研究 / 映像認識・処理 / 非手指要素 / 欠損があるベクトル / 映像検索 / 手話データ / 超高解像度カメラ / 手話検索 / 言語要素 / 記録環境 |
|---|
| 研究開始時の研究の概要 |
視覚言語である手話のコーパス構築は，日本語や英語のような音声言語のコーパス構築とは異なり，映像として記録し，処理する新しい技術が求められる．現時点で話者らの負担が少なく，効率的に蓄積し，低コストで検索まで実現する方法論は確立されていない．
そこで本研究は，超高解像度カメラを配した撮影環境を構成し，多人数の話者がいつものように会話する風景から自然発話を収集し，蓄積する．映像に対して，手指，視線，口型といった手話表現の言語的構成素を自動的に同定する．カメラで撮影した手話表現（キー映像）で直接コーパスを検索できるだけでなく，一般の日本語の言語情報も活用し，キー映像の拡張を提案し，検索精度をあげる．
|
| 研究実績の概要 |
現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の4テーマを推進した。
1. 会話映像の記録と蓄積：ここまでの撮影環境の設計を受け、新型コロナウイルス感染症の状況を勘案し、自然会話風景の撮影機会に恵まれていない。そこで、いったん研究者らの環境内で撮影可能な手話会話風景を、複数台の高解像度カメラを設置し10時間程度記録、蓄積した。
2. 映像内の言語要素の自動認識：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeというAIライブラリを活用し、映像内の人ごとに言語要素を特徴付けるための3次元位置を推定し、データ化した。言語要素のなかで、手指要素については他課題でも策定しており、そのまま活用している。非手指要素については、眉や口の動き、顔の傾きなどを、認識情報からモデル化した。たとえば、眉の動きについては、左右で眉部分を眉頭から眉尻へのベクトルの単位時間当たりの相対的変化で捉えることができる。
3. 欠損がある時系列ベクトルに基づいた情報検索技術開発：2のようなかたちでモデル化された手話要素の情報検索は、認識もれがある、つまり欠損がある時系列ベクトルに対する処理に帰着される。今年度はナイーブな方法で、単位時間ごとのベクトル間のコサイン類似度の蓄積で定量化する方法を実装した。検索キー映像、対象映像ともに同じ時間ペース、同質映像では、安定的な精度が得られる。一方、処理時間が長く、計算資源も不効率である。
4. 手話学習メディアなどからの手話会話映像の活用：手話の自然会話を直接撮影する以外にも、さまざまなメディアに存在する手話会話を、本課題に活用する。さらに、今後の手話研究への新展開の端緒とする可能性について検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
課題申請時の、手話の自然会話のデータについては、新型コロナ感染症の状況が改善されず、本来的な記録はできていない。そのため、今年度は、他の代替への方法論も追求した。代替的な側面はおおむね順調である。
|
| 今後の研究の推進方策 |
研究実績の概要1,4に記述したような代替の検討を行っている。データ量という観点では本課題の目標を充足できる可能性は高い。新型コロナウイルス感染症の状況が改善された際に、速やかに当初の記録環境等が構築できるよう、並行してもともとの方法論についても検討を進める。
|
