• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

発話運動の磁気センシングに基づく調音・音響データベースの構築

研究課題

研究課題/領域番号 16K00242
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知覚情報処理
研究機関九州大学

研究代表者

鏑木 時彦  九州大学, 芸術工学研究院, 教授 (30325568)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2018年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2017年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2016年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード音声発話 / 調音運動 / 磁気センサ / 運動計測 / 音声情報処理 / 音声 / 調音器官 / 磁気センサシステム / 音声データベース / MRI / 音声合成 / 音声生成 / 磁場シミュレーション / 発話運動 / 調音・音響データベース
研究成果の概要

本研究では、音声発話時の舌、唇、下顎などの調音運動を音声とともに測定し、日本語の調音・音声データベースを構築することを目的として、調音器官の表面に装着した位置マーカー用の受信コイルの3次元位置を高精度に測定する磁気センサシステムを設計・構築した。本システムは従来システムより多い8個の送信チャネルを有し、さらにこれらの送信コイルの配置を最適化することで高い測定精度を得た。構築した測定システムと、独自に作成した発話文セットを用いて、1時間におよぶ日本語としては最大規模のデータ収録を行うことができた。得られた調音・音声データより調音運動と音声スペクトルの相互変換を行い、その有効性を検証した。

研究成果の学術的意義や社会的意義

音声の発話において、舌、唇、下顎などの調音器官はさまざまな役割を担っている。母音においては、調音運動は声道の形状を調整し、その音響特性や母音の識別に重要なホルマントを定める。子音では、摩擦性や破裂性の音源信号の生成に関わる。このように、人の音声コミュニケーションを理解し、その知見に立脚した音声情報技術を構築するには、調音運動の測定という困難な問題を解決することが不可欠である。本研究では、調音運動を3次元的に測定可能な磁気センサシステムを開発し、音声と調音運動の同時測定を可能にした。さらに、声帯振動を測定する電気式喉頭計を併用することで、音声発話の全体的なプロセスを調べることが可能になった。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (16件)

すべて 2019 2018 2017 2016

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (14件) (うち国際学会 6件、 招待講演 1件)

  • [雑誌論文] A morphological and acoustic analysis of the vocal tract during the act of whistling2018

    • 著者名/発表者名
      Kaburagi Tokihiko, Shimizu Takuma, and Uezu Yasufumi
    • 雑誌名

      Acoustical Science and Technology

      巻: 39 号: 3 ページ: 198-206

    • DOI

      10.1250/ast.39.198

    • NAID

      130006730818

    • ISSN
      0369-4232, 1346-3969, 1347-5177
    • 年月日
      2018-05-01
    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] A morphological and acoustic analysis of the vocal tract during the act of whistling2018

    • 著者名/発表者名
      Tokihiko Kaburagi, Takuma Shimizu, Yasufumi Uezu
    • 雑誌名

      Acoustical Science and Technology

      巻: 印刷中

    • NAID

      130006730818

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [学会発表] End-to-End 調音-音声変換に関する検討2019

    • 著者名/発表者名
      田口史朗、鏑木時彦
    • 学会等名
      日本音響学会音声研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Full CNN 構造を用いた口唇動画-音声変換2019

    • 著者名/発表者名
      田口史朗、鏑木時彦
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Articulatory-to-speech conversion using bi-directional long short-term memory2018

    • 著者名/発表者名
      Fumiaki Taguchi and Tokihiko Kaburagi
    • 学会等名
      Proc. Interspeech2018
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Source-filter interaction: A study using vocal-tract data of a soprano singer2018

    • 著者名/発表者名
      Tokihiko Kaburagi, Momoyo Ando, and Yasufumi Uezu
    • 学会等名
      175th Meeting of the Acoustical Society of America
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 畳み込みニューラルネットワークを用いた音声-調音逆マッピングの検討2018

    • 著者名/発表者名
      田口史朗、鏑木時彦
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] End-to-End調音-音声変換のための調音データからのメルスペクトログラム推定2018

    • 著者名/発表者名
      田口史朗、鏑木時彦
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] 深層学習による調音-音声変換に関する検討2018

    • 著者名/発表者名
      田口史朗, 鏑木時彦
    • 学会等名
      日本音響学会音声研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 発声における音源-フィルタ相互作用 -ソプラノ歌手の声道データを用いた検討-2018

    • 著者名/発表者名
      鏑木時彦, 安藤百代, 上江洲安史
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] An investigation of the alignment of the transmitter coils in the three-dimensional electromagnetic articulograpy having eight transmission channels2017

    • 著者名/発表者名
      Kohei WAKAMIYA , Hidetsugu UCHIDA, Tokihiko KABURAGI
    • 学会等名
      Youngnam-Kyushu Joint Conference on Acoustics 2017
    • 発表場所
      Busan, Korea
    • 年月日
      2017-02-04
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] Synergistic Interactions Underlying the Production of Human Voice2017

    • 著者名/発表者名
      Tokihiko KABURAGI
    • 学会等名
      Youngnam-Kyushu Joint Conference on Acoustics 2017
    • 発表場所
      Busan, Korea
    • 年月日
      2017-02-04
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Observation of the vocal tract configuration while playing a woodwind instrument2017

    • 著者名/発表者名
      Tokihiko Kaburagi, Yuri Fukuda
    • 学会等名
      Acoustics 2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] A simulation study on the effect of glottal boundary conditions on vocal tract formants2017

    • 著者名/発表者名
      Yasufumi Uezu, Tokihiko Kaburagi
    • 学会等名
      Interspeech2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] 女性の歌唱における声道共鳴周波数の推定2017

    • 著者名/発表者名
      安藤百代, 鏑木時彦
    • 学会等名
      日本音響学会秋季研究発表会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 8個の送信チャネルを持つ磁気センサシステムの検討2016

    • 著者名/発表者名
      若宮幸平、内田秀継、鏑木時彦
    • 学会等名
      日本音響学会秋季研究発表会
    • 発表場所
      富山
    • 年月日
      2016-09-15
    • 関連する報告書
      2016 実施状況報告書

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi