• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

聴覚障害者講義での質問者の手話の自動撮影による学生間の意思疎通支援に関する研究

Research Project

Project/Area Number 16700403
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Rehabilitation science/Welfare engineering
Research InstitutionNagoya University

Principal Investigator

竹内 義則  名古屋大学, 情報連携基盤センター, 助教授 (60324464)

Project Period (FY) 2004 – 2005
Project Status Completed (Fiscal Year 2005)
Budget Amount *help
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2005: ¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 2004: ¥1,300,000 (Direct Cost: ¥1,300,000)
Keywords情報システム / 福祉工学 / 情報保障 / 聴覚障害者支援 / 手話 / 自動撮影 / 挙手検出 / 顔抽出 / 音源定位 / 音源分離 / 講義の自動撮影
Research Abstract

本研究では,聴覚障害者集団を対象にした講義における学生間の意思疎通を支援する目的で,講義中に質問をした学生を自動的に撮影するシステムを開発した.
本システムでは,受講者の中から画像処理により発言者を検出し、発言者を撮影するようにカメラで自動的に追う.手話を行っている間は発言者を撮影し,それを部屋の前面のモニターに映し出す.これを他の受講者が見ることによって,発言内容を把握する.これによって,従来では,発言内容が共有されないため同じ質問を繰り返し発言するという問題が起きていたが,それが解決される.また,講義中に講師から受講生に対して発言を促すこともしやすくなる.
発言者を検出する方法として様々な方法が考えられるが,本システムでは挙手動作によって発言者を検出した.挙手動作は顔の周辺で行われるので,人物の顔位置を求める.まず,背景差分によって人物領域を求め,さらに肌色抽出,髪領域探索によって顔位置を求める.また,カメラに対する受講生の奥行きに応じて,閾値を使い分けることによって,カメラからの距離による影響を少なくした.挙手動作によって発言者を検出した後,カメラをその発言者に向け,ズーム撮影する.このとき,発言者がカメラの視野から外れないように,手話を行っている手がカメラの視野付近にある場合は,ズームアウトする.また,ズームが小さすぎる場合は,発言者の口の動きが分かりにくくなるため,ズームインする.
本システムの有効性を検証するために,実際の聴覚障害者集団の講義において,実験を行った.その結果,挙手検出率は70%であった.また,受講者に本システムについての聞き取り調査を行い,本システムは役に立つと思われるという回答が多かった.

Report

(2 results)
  • 2005 Annual Research Report
  • 2004 Annual Research Report
  • Research Products

    (6 results)

All 2005 2004

All Journal Article (6 results)

  • [Journal Article] 聴覚障害者の講義における挙手抽出による手話発言者の検出2005

    • Author(s)
      坂下雄大
    • Journal Title

      電子情報通信学会技術研究報告〔福祉情報工学〕 Vol.105 No.67

      Pages: 49-54

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 聴覚障害者の講義における手話発言者の自動撮影2005

    • Author(s)
      坂下雄大
    • Journal Title

      電子情報通信学会技術研究報告〔思考と言語〕 Vol.105 No.50

      Pages: 67-72

    • Related Report
      2005 Annual Research Report
  • [Journal Article] 聴覚障害者の講義における挙手抽出による手話発言者の検出2005

    • Author(s)
      坂下雄大
    • Journal Title

      電子情報通信学会福祉情報工学研究会 (発表予定)

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Closely Arranged Directional Microphone for Source Separation Effectiveness in Reduction of the Number of Taps and Preventing Factors2004

    • Author(s)
      Yusuke Katayama
    • Journal Title

      Fifth International Conference on Independent Component Analysis and Blind Signal Separation

      Pages: 129-135

    • Related Report
      2004 Annual Research Report
  • [Journal Article] Speech Enhancement by Lateral Inhibition and Binaural Masking2004

    • Author(s)
      Edil James
    • Journal Title

      International Workshop on Machine Learning for Signal Processing

      Pages: 365-370

    • Related Report
      2004 Annual Research Report
  • [Journal Article] 聴覚障害者の講義における質問者の自動撮影による手話発言支援2004

    • Author(s)
      坂下雄大
    • Journal Title

      電気関係学会東海支部連合大会講演論文集

      Pages: 0-450

    • Related Report
      2004 Annual Research Report

URL: 

Published: 2004-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi