• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

マルチモーダルサイレント音声認識技術に関する研究

研究課題

研究課題/領域番号 16H03211
研究機関九州工業大学

研究代表者

齊藤 剛史  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)

研究分担者 田村 哲嗣  岐阜大学, 工学部, 准教授 (10402215)
桂田 浩一  東京理科大学, 理工学部情報科学科, 准教授 (80324490)
速水 悟  岐阜大学, 工学部, 教授 (90345794)
永井 秀利  九州工業大学, 大学院情報工学研究院, 助教 (60237485)
山崎 敏正  九州工業大学, 大学院情報工学研究院, 教授 (50392163)
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワードヒューマンインタフェース / サイレント音声認識 / 読唇
研究実績の概要

1.実施計画に基づき、本研究グループが主催するワークショップ(第6回サイレント音声認識ワークショップ)を2019年10月27日(日)に第一工業大学で開催した。科研費の助成を受ける前の2014年度から毎年継続して開催しており、2019年度は新たな試みとして、電子情報通信学会 福祉情報工学研究会および音声研究会と併催した。ワークショップにおける発表件数は17件であり、実施計画通りに表彰制度において学生奨励賞1名を表彰した。
2.2018年度に公開したカラー画像を用いた音声認識技術である読唇技術向けの発話シーンデータベースSSSDのデータを36名から72名に追加した。さらにSSSDを用いたコンペティション「第2回機械読唇チャレンジ」を開催した。第1回の参加は3グループであったが、第2回の参加は7グループであり好評であった。また1位のグループの認識精度は第1回の1位と比べ高い精度であり、本研究分野の技術が進展していることを確認した。
3.本研究グループ6名の研究者は、各モダリティにおける研究を進め、国際学会発表2件、国内学会発表15件の研究成果を挙げた。また研究代表者は、「ひらめき☆ときめきサイエンス」における高校生向けの研究紹介、「イノベーション・ジャパン2019」(2019年8月28日~30日)や「クロスヘルスEXPO2019」(2019年10月9日~11日)、西日本国際福祉機器展(2019年11月14日~16日)、JST新技術説明会(2019年12月10日)、シーズ・ニーズマッチング交流会(2020年1月14日~15日)などで読唇技術に関する研究成果を出展し、本研究成果を社会に発信した。

現在までの達成度 (段落)

令和元年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和元年度が最終年度であるため、記入しない。

  • 研究成果

    (20件)

すべて 2020 2019

すべて 学会発表 (19件) 産業財産権 (1件)

  • [学会発表] マルチモーダル音声強調に対するCycle-Consistencyの導入の検討2020

    • 著者名/発表者名
      池上 凌,大村 英史,桂田 浩一
    • 学会等名
      日本音響学会2020年春季研究発表会
  • [学会発表] StarGAN-VCモデルにおける潜在表現への制約の有効性について2020

    • 著者名/発表者名
      柴宮 怜,大村 英史,桂田 浩一
    • 学会等名
      日本音響学会2020年春季研究発表会
  • [学会発表] 音声想起時脳波中の音節識別について2019

    • 著者名/発表者名
      深井 健大郎,大村 英史,桂田 浩一,新田 恒雄
    • 学会等名
      人工知能学会第33回全国大会
  • [学会発表] Universal Transformerを使用した対話破綻検出2019

    • 著者名/発表者名
      桑原 健太,大村 英史,桂田 浩一
    • 学会等名
      人工知能学会第33回全国大会
  • [学会発表] LSTMを用いた分類問題における判断根拠可視化の検討2019

    • 著者名/発表者名
      齊藤 剛史,徳永 旭将
    • 学会等名
      第22回 画像の認識・理解シンポジウム(MIRU2019)
  • [学会発表] LiP25w: Word-level Lip Reading Web Application for Smart Device2019

    • 著者名/発表者名
      Takeshi Saitoh and Michiko Kubokawa
    • 学会等名
      Proc. of 15th International Conference on Auditory-Visual Speech Processing (AVSP2019)
  • [学会発表] Lip Reading Experiments for Multiple Databases Using Conventional Method2019

    • 著者名/発表者名
      Tatsuya Shirakata and Takeshi Saitoh
    • 学会等名
      Proc. of SICE Annual Conference
  • [学会発表] LiP25w: スマートデバイスで単語読唇2019

    • 著者名/発表者名
      齊藤 剛史,白方 達也
    • 学会等名
      フォーラム顔学2019
  • [学会発表] 介護時会話を想定した少数語彙世界における黙声単語認識の一手法2019

    • 著者名/発表者名
      永井 秀利,左島 綾乃,中村 貞吾
    • 学会等名
      電気関係学会九州支部連合大会
  • [学会発表] 音声想起脳波からの言語表象抽出と音節認識2019

    • 著者名/発表者名
      深井 健大郎,大村 英史,桂田 浩一,平田 里佳,入部 百合絵,付 明川,田口 亮,新田 恒雄
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] 音声想起時脳波の単語尤度ベクトルを用いた単語認識2019

    • 著者名/発表者名
      平田 里佳,入部 百合絵,深井 健大郎,桂田 浩一,新田 恒雄
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] Real-Time Silent Speech BCI with Japanese Hiragana2019

    • 著者名/発表者名
      Gaborit Sylvain, Toshimasa Yamazaki
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] Discriminability among Japanese vowels using early components in silent-speech-related potentials2019

    • 著者名/発表者名
      Sho Tsukiyama, Toshimasa Yamazaki
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] 黙声孤立単音認識における表面筋電チャネルごとの活動開始位置推定時の曖昧さ低減2019

    • 著者名/発表者名
      永井 秀利
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] 神経難病患者の口形認識に関する研究2019

    • 著者名/発表者名
      中村 祐哉,齊藤 剛史,伊藤 和幸
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] 介護時会話を想定した少数語彙世界における黙声単語認識の一手法2019

    • 著者名/発表者名
      永井 秀利,左島 綾乃,中村 貞吾
    • 学会等名
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
  • [学会発表] 3DCNNとBidirectional GRUを用いた読唇2019

    • 著者名/発表者名
      小口 優人,大村 英史,桂田 浩一
    • 学会等名
      第6回サイレント音声認識ワークショップ
  • [学会発表] 深層学習とAdaBoostによる連続発話画像の認識2019

    • 著者名/発表者名
      嶺山 広樹,山下 遼真,中島 成穂,磯部 真之介,田村 哲嗣,速水 悟
    • 学会等名
      第6回サイレント音声認識ワークショップ
  • [学会発表] 3DCNNを用いた口唇画像の発話認識2019

    • 著者名/発表者名
      山下 遼真,速水 悟,田村 哲嗣,嶺山 広樹,赤澤 玲,中島 成穂,磯部 真之介,西脇 拓実,前田 翼
    • 学会等名
      第6回サイレント音声認識ワークショップ
  • [産業財産権] 読唇装置及び読唇方法2019

    • 発明者名
      齊藤剛史
    • 権利者名
      齊藤剛史
    • 産業財産権種類
      特許
    • 産業財産権番号
      特願2019-213234

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi