2021 Fiscal Year Final Research Report
Temporal Summarization of Sign Language Videos
| Project/Area Number |
19K12032
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Sojo University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
米村 俊一 芝浦工業大学, 工学部, 教授 (60631033)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 手話映像 / 要約 / キーフレーム / 自動抽出 / オプティカルフロー |
|---|
| Outline of Final Research Achievements |
This study aims to summarize sign language videos using only a small number of key images (we call as "keyframes") extracted from the video, to realize efficient video communication of sign language.
In this study, we first confirmed the effect of the summarized video created from the keyframes. Then, based on the hypothesis that the movement of hand or arm is stopped or moved slowly (in the video) at the key frame, we analyzed the movement of sign language video, and proposed and realized a new method that enables automatic extraction of keyframes.
This method has two major features that it does not depend on the sign language person, and can extract keyframe candidates in near real time.
|
| Free Research Field |
ビジュアル・インタフェース
|
| Academic Significance and Societal Importance of the Research Achievements |
手話映像を特徴的な少数の画像により要約するという手法は著者らが提案した手法であり，学術的新規性が高い．本研究により，手話映像から自動的にキーフレーム候補を抽出することが可能となり，当初計画で想定していた特定手話者のみならず，不特定の手話者に対しても抽出することが可能となり，またリアルタイムでの抽出の可能性も示唆されているため，その学術的な意義は極めて高い．本成果を応用することで，災害時に情報を素早く伝達することが可能となり，また，手話映像を再確認する際にも，より短い時間で内容を確認することが可能となるなど，ろう者の利便性をはかることができ，その社会的な意義は非常に大きい．
|
