• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

発話時のカラー顔面像と音声の融合処理に基づく対話型人物認識法に関する研究

研究課題

研究課題/領域番号 11680426
研究種目

基盤研究(C)

配分区分補助金
応募区分一般
研究分野 情報システム学(含情報図書館学)
研究機関大阪電気通信大学

研究代表者

松村 雅史  大阪電気通信大学, 工学部, 教授 (80209618)

研究分担者 新川 拓也  大阪電気通信大学, 工学部, 講師
研究期間 (年度) 1999 – 2001
研究課題ステータス 完了 (2001年度)
配分額 *注記
2,700千円 (直接経費: 2,700千円)
2001年度: 500千円 (直接経費: 500千円)
2000年度: 600千円 (直接経費: 600千円)
1999年度: 1,600千円 (直接経費: 1,600千円)
キーワードロバスト音声処理 / マイクロホンアレイ / カラー顔画像処理 / 口唇領域抽出 / 人物認識 / 音源定位 / 3次元声道 / ウエーブレット解析 / 整合フィルタ / 音声強調 / カラー顔画像 / 三次元声道 / 有限要素法
研究概要

本研究では、発話時のカラー顔画像の特徴と音声の個人的特徴を高精度で抽出し、総合的あるいは選択的に活用して、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、カラーCCDカメラとマイクロホンアレイを有するインテリジェント情報端末の開発、音声生成メカニズムの解析に基づく音声分析技術の高度化を研究目的とする。本研究の研究成果は以下の通りである。
1.視聴覚融合インテリジェント情報端末の開発:マイクロホンアレイを用いて発話者の位置推定を忠実に抽出する手法を開発した。画像情報を併用しながら音声のホルマント帯域信号に基づいてDelay-and-sum処理により特定話者の発話位置を推定する。周囲雑音が存在する環境において,話者の音声に対して推定誤差は5cm以内であり,マイクやカメラの位置を気にすることなくコミュニケーションが可能なインテリジェント情報端末が実現できた。
2.発話時のカラー顔画像の解析:発話時の顔画像と音声のデータよりRGBの色空間において顔領域を抽出し、口唇とその近辺の肌色を識別する肌色モデルを提案した。照明条件を考慮して肌色分布の動的特徴と色情報を併用した口唇位置推定法を提案して、その有効性を示した。
3.音声生成メカニズムの解析に基づく音声分析技術の高度化:磁気共鳴映像法(MRI)により計測した三次元声道の有限要素モデルより声道内音圧分布を推定し、3[kHz]以上の帯域の声道長は周波数と共に長くなっていることを明らかにした。この成果は、線形予測分析に代表される従来の音声生成モデルの限界を示すと共に、周波数帯域ごとに次数を変えるモデルの必要性を指摘した。また,人物認識実験および発話者の位置推定実験を通じて,視聴覚融合センシングシステムは,カメラやマイクの位置を気にすることなくコミュニケーションが可能であり,高齢者などの中心に利用層の拡大が期待できる。

報告書

(4件)
  • 2001 実績報告書   研究成果報告書概要
  • 2000 実績報告書
  • 1999 実績報告書
  • 研究成果

    (22件)

すべて その他

すべて 文献書誌 (22件)

  • [文献書誌] 松村雅史: "力センサを配置した人工口蓋床による舌-口蓋接触圧分布と舌力の計測"バイオメカニズム. 16(発表予定). (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 新川拓也: "三次元声道内の音圧分布に基づく声道長の推定"バイオメカニズム. 16(発表予定). (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 松村雅史: "力センサ一体型人工口蓋床による舌-口蓋接触圧分布と舌力の計測"Technical report, Information science center, Osaka Electro-Communication university. ISC2001-02. 13-22 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 新川拓也: "母音生成時における声道内音圧分布に基づく声道長の推定"Technical report, Information science center, Osaka Electro-Communication university. ISC2001-01. 1-11 (2002)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 新川拓也: "有限要素法を用いた摩擦音発声時の声道内呼気流の推定"電気学会論文誌(C). 119-C, No.11. 1323-1328 (1999)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Takuya Niikawa: "Modeling of a speech production system based on MRI measurement of three-dimensional vocal tract shapes during fricative consonant phonation"International Conference on Spoken Language Processing 2000. Vol.2. 174-177 (2000)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Takuya Niikawa: "FEM analysis of aspirated air flow in three dimensional vocal tract during fricative consonant phonation"Trans. IEE of Japan. Vol.119-C, No.11. 1323-1328 (1999)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masafumi Matsumura: "Measurement of Palatolingual contact pressure and tongue force using a force-sensor-mounted palatal plate"international Conference on Spoken Language Processing 2000. Vol.3, 893. 893-896 (2000)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Takuya Niikawa: "Modeling of a speech production system based on MRI measurement of three-dimensional vocal tract shapes during fricative consonant phonation"international Conference on Spoken Language Processing 2000. Vol.2, 174. 174-177 (2000)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Takuya Niikawa: "Esimation of vocal-tract length based on distribution of sound pressure in the production of vowel phonations"Information science center, Osaka Electro-Cmmunication University, Technical report. ISC2001-01. (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masafumi Matsumura: "Measurement of Palatolingual contact pressure and tongue force using a force-sensor-mounted palatal plate"Information science center, Osaka Electro-Cmmunication University, Technical report. ISC2001-02. (2002)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Takuya Niikawa: "Estimation of vocal-tract length based on distribution of sound pressure"Biomechanism. 16(to appear).

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masafumi Matsumura: "Measurement of Palatolingual contact pressure and tongue force using a force-sensor-mounted palatal plate"Biomechanism. 16. To appear

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 松村雅史: "力センサを配置した人工口蓋床による舌-口蓋接触圧分布と舌力の計測"バイオメカニズム. 16(発表予定). (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 新川拓也: "三次元声道内の音圧分布に基づく声道長の推定"バイオメカニズム. 16(発表予定). (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 松村雅史: "力センサ一体型人工口蓋床による舌-口蓋接触圧分布と舌力の計測"Technical report, Information science center, Osaka Electro-Communication university. ISC2001-02. 13-22 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 新川拓也: "母音生成時における声道内音圧分布に基づく声道長の推定"Technical report, Information science center, Osaka Electro-Communication university. ISC2001-01. 1-11 (2002)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Niikawa,Takuya: "Modeling of a speech production system based on MRI measurement of three-dimensional vocal tract shapes during fricative consonant phonation."International Conference on Spoken Language Processing 2000. Vol.2,174. 174-177 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] Matsumura,Masafumi: "Measurement of palatolingual contact pressure and tongue force using a force-sensor-mounted palatal plate"International Conference on Spoken Language Processing 2000. Vol.3,893. 893-896 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] Niikawa,Takuya: "Modeling of a speech production system during fricative consonant phonation."Technical report, Information science center, Osaka Electro-Communication university. (発表予定). (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] Matsumura,Masafumi: "Measurement of palatolingual contact pressure and tongue force using a force-sensor-mounted palatal plate"Technical report, Information science center, Osaka Electro-Communication university. (発表予定). (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 新川拓也: "有限要素法を用いた摩擦音発声時の声道内呼気流の推定"電気学会論文誌. 119巻11号. 1323-1328 (1999)

    • 関連する報告書
      1999 実績報告書

URL: 

公開日: 1999-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi