| Project/Area Number |
19K12032
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Sojo University |
|---|
Principal Investigator |
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
米村 俊一 芝浦工業大学, 工学部, 教授 (60631033)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 手話映像 / 要約 / キーフレーム / 自動抽出 / オプティカルフロー / 動画像処理 |
|---|
| Outline of Research at the Start |
申請者らはスマートフォン等を用いた手話の効率的な映像コミュニケーションの実現のため、手話の実写映像を少数の画像（手話キーフレーム）で要約することで通信データ量を大幅に削減する技術に取り組んでおり，本研究では撮影した手話映像から手話キーフレームを自動的に抽出する技術の確立をめざすものである．本研究により，災害時のように通信帯域が圧迫されるような状況においても，手話映像による情報伝達が可能となることが期待できる．
|
| Outline of Final Research Achievements |
This study aims to summarize sign language videos using only a small number of key images (we call as "keyframes") extracted from the video, to realize efficient video communication of sign language.
In this study, we first confirmed the effect of the summarized video created from the keyframes. Then, based on the hypothesis that the movement of hand or arm is stopped or moved slowly (in the video) at the key frame, we analyzed the movement of sign language video, and proposed and realized a new method that enables automatic extraction of keyframes.
This method has two major features that it does not depend on the sign language person, and can extract keyframe candidates in near real time.
|
| Academic Significance and Societal Importance of the Research Achievements |
手話映像を特徴的な少数の画像により要約するという手法は著者らが提案した手法であり，学術的新規性が高い．本研究により，手話映像から自動的にキーフレーム候補を抽出することが可能となり，当初計画で想定していた特定手話者のみならず，不特定の手話者に対しても抽出することが可能となり，またリアルタイムでの抽出の可能性も示唆されているため，その学術的な意義は極めて高い．本成果を応用することで，災害時に情報を素早く伝達することが可能となり，また，手話映像を再確認する際にも，より短い時間で内容を確認することが可能となるなど，ろう者の利便性をはかることができ，その社会的な意義は非常に大きい．
|
