• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実績報告書

マルチモーダルサイレント音声認識技術に関する研究

研究課題

研究課題/領域番号 16H03211
研究機関九州工業大学

研究代表者

齊藤 剛史  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)

研究分担者 田村 哲嗣  岐阜大学, 工学部, 助教 (10402215)
桂田 浩一  東京理科大学, 理工学部情報科学科, 准教授 (80324490)
速水 悟  岐阜大学, 工学部, 教授 (90345794)
永井 秀利  九州工業大学, 大学院情報工学研究院, 助教 (60237485)
山崎 敏正  九州工業大学, 大学院情報工学研究院, 教授 (50392163)
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワードヒューマンインターフェース
研究実績の概要

1.実施計画に基づき、本研究グループが企画・運営するワークショップ(第3回サイレント音声認識ワークショップ)を2016年10月14日(金)~15日(土)に福岡朝日ビル貸会議室(福岡県福岡市)で開催した。発表件数は17件(特別講演1件を含む)、参加者数は45人であり、本研究グループの研究者も参加・発表した。また実施計画通りに表彰制度を設けて、学生奨励賞1名を表彰した。ワークショップの最後に、ビジネスミーティングを実施して、今後の研究の方向性について検討した。
2.研究代表者は、本研究に関連しThe 13th Asian Conference on Computer Vision (ACCV2016) workshop on Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)のオーガナイザとなり、た国際ワークショップを開催した。本ワークショップでは視聴覚音声認識の著名な研究者であるテッサリア大学(ギリシア)のGerasimos Potamianos先生を招聘して招待講演を実施した。また本研究グループメンバー2名が研究成果を発表した。
3.本研究グループ6名の研究者は、カラー画像、音声、距離画像、表面筋電信号、脳波などの各モダリティ、あるいはバイモーダルなどの各テーマで研究を進め、雑誌論文2編、国際会議発表11件、国内学会発表19件の研究成果を挙げた。
4.マルチモーダルコーパスの構築については、研究代表者が準備を進めている。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ワークショップ開催に関して、実施計画では国内のみであったが、国際ワークショップにも本研究グループが関連した。国内ワークショップでは聴覚障害者、国際ワークショップでは研究者を招聘して特別講演を実施した。
本研究グループ6名の研究者は、各テーマにおける研究を進め、国内外で成果を発表した。

今後の研究の推進方策

ワークショップについては継続して開催する。2017年度は岐阜で開催する予定で計画を進めている。2016年度同様に特別講演の実施や学生奨励賞を設ける。
マルチモーダルコーパスの構築を進める。

  • 研究成果

    (35件)

すべて 2017 2016 その他

すべて 国際共同研究 (1件) 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (30件) (うち国際学会 11件) 備考 (1件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] University of Oulu(Finland)

    • 国名
      フィンランド
    • 外国機関名
      University of Oulu
  • [雑誌論文] Potential association between modular structures of brain functional connectivity networks and individual variability in foreign language ability2017

    • 著者名/発表者名
      山﨑敏正,秋山暉佳,副島英子,山本宇彦
    • 雑誌名

      認知科学

      巻: 24 ページ: 118-128

    • 査読あり
  • [雑誌論文] Investigation of DNN-based audio-visual speech recognition2016

    • 著者名/発表者名
      Satoshi Tamura, Hiroshi Ninomiya, Norihide Kitaoka, Shin Osuga, Yurie Iribe, Kazuya Takeda, Satoru Hayamizu
    • 雑誌名

      IEICE transaction on Information and Systems

      巻: E99-D ページ: 2444-2451

    • DOI

      10.1587/transinf.2016SLP0019

    • 査読あり
  • [学会発表] 日本語音節発話・想起時の脳波解析2017

    • 著者名/発表者名
      浅原 康平,中根 丈司,神崎 卓丸,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • 学会等名
      日本音響学会2017年春季研究発表会講演論文集
    • 発表場所
      明治大学、神奈川県川崎市
    • 年月日
      2017-03-15 – 2017-03-17
  • [学会発表] 発話時と想起時の脳波による日本語短音節認識の比較2017

    • 著者名/発表者名
      神崎 卓丸,浅原 康平,中根 丈司,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • 学会等名
      日本音響学会2017年春季研究発表会講演論文集
    • 発表場所
      明治大学、神奈川県川崎市
    • 年月日
      2017-03-15 – 2017-03-17
  • [学会発表] Suffix Arrayを用いた高速STDにおけるキーワード分割の最適化に関する検討2017

    • 著者名/発表者名
      桂田 浩一
    • 学会等名
      日本音響学会2017年春季研究発表会講演論文集
    • 発表場所
      明治大学、神奈川県川崎市
    • 年月日
      2017-03-15 – 2017-03-17
  • [学会発表] 顔画像の対称3D-AAMによる顔方向非依存な発話認識2017

    • 著者名/発表者名
      渡辺 拓也,桂田 浩一,金澤 靖
    • 学会等名
      電子情報通信学会技術研究報告
    • 発表場所
      京都大学,京都府京都市
    • 年月日
      2017-01-19 – 2017-01-20
  • [学会発表] Dynamic generation of thesaurus from plaintext using deep learning2016

    • 著者名/発表者名
      K.Matsushita and T.Yamazaki
    • 学会等名
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • 発表場所
      九州工業大学、福岡県北九州市
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] Denoising of scalp-recorded EEGs using higher-order statistics for BCI2016

    • 著者名/発表者名
      N.Toshima and T.Yamazaki
    • 学会等名
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • 発表場所
      九州工業大学、福岡県北九州市
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] A method for constructing brain functional connectivity network based on synchronization likelihood of scalp-recorded EEGs2016

    • 著者名/発表者名
      A.Watanabe and T.Yamazaki
    • 学会等名
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • 発表場所
      九州工業大学、福岡県北九州市
    • 年月日
      2016-12-17 – 2016-12-18
    • 国際学会
  • [学会発表] EEG during Japanese syllable recall and speech tasks2016

    • 著者名/発表者名
      Kohei Asahara, Jozi Nakane, Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Tsuneo Nitta, and Junsei Horikawa
    • 学会等名
      The 3rd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      伊良湖シーパーク&スパ、愛知県田原市
    • 年月日
      2016-12-10 – 2016-12-11
    • 国際学会
  • [学会発表] Japanese monosyllable recognition from EEG2016

    • 著者名/発表者名
      Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Junsei Horikawa, and Tsuneo Nitta
    • 学会等名
      The 3rd Annual Meeting of the Society for Bioacoustics
    • 発表場所
      伊良湖シーパーク&スパ、愛知県田原市
    • 年月日
      2016-12-10 – 2016-12-11
    • 国際学会
  • [学会発表] Lip Reading from Multi View Facial Images Using 3D-AAM2016

    • 著者名/発表者名
      Takuya Watanabe, Kouichi Katsurada, and Yasushi Kanazawa
    • 学会等名
      ACCV2016 workshop: Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)
    • 発表場所
      TICC、台北市、台湾
    • 年月日
      2016-11-20 – 2016-11-24
    • 国際学会
  • [学会発表] Concatenated Frame Image based CNN for Visual Speech Recognition2016

    • 著者名/発表者名
      Takeshi Saitoh, Ziheng Zhou, Guoying Zhao, and Matti Pietikainen
    • 学会等名
      ACCV2016 workshop: Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)
    • 発表場所
      TICC、台北市、台湾
    • 年月日
      2016-11-20 – 2016-11-24
    • 国際学会
  • [学会発表] Continuous Inaudible Recognition of Japanese Vowels Using Features Detected at Lips Shape Peaks based on Surface Electromyography2016

    • 著者名/発表者名
      Nao Kurogi, Hidetoshi Nagai, Teigo Nakamura
    • 学会等名
      3rd International Conference on Systems and Informatics (ICSAI 2016)
    • 発表場所
      上海、中国
    • 年月日
      2016-11-19 – 2016-11-21
    • 国際学会
  • [学会発表] 読唇向け公開データベースの紹介2016

    • 著者名/発表者名
      窪川 美智子,齊藤 剛史
    • 学会等名
      第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016)
    • 発表場所
      芝浦工業大学、東京都江東区
    • 年月日
      2016-11-16 – 2016-11-17
  • [学会発表] フレーム連結画像を用いたCNNによる読唇2016

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016)
    • 発表場所
      芝浦工業大学、東京都江東区
    • 年月日
      2016-11-16 – 2016-11-17
  • [学会発表] Development of audio-visual speech corpus toward speaker-independent Japanese LVCSR2016

    • 著者名/発表者名
      Kazuto Ukai, Satoshi Tamura and Satoru Hayamizu
    • 学会等名
      Oriental COCOSDA 2016
    • 発表場所
      Grand Aston Benoa, Bali, Indonesia
    • 年月日
      2016-10-26
    • 国際学会
  • [学会発表] 連続音間の相関パラメータを導入した口形極点に基づく連続黙声母音認識2016

    • 著者名/発表者名
      黒木菜緒,永井秀利,中村貞吾
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 少数語彙世界の特性を活用した黙声音声認識手法に関する一提案2016

    • 著者名/発表者名
      永井秀利,渡邉優実,中村貞吾
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] EEG信号からの日本語単音節認識2016

    • 著者名/発表者名
      新田 恒雄,神崎 卓丸,堀川 順生,杉本 俊二,浅原 康平,中根 丈司,中澤 香太,桂田浩一
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] フレーム連結画像を用いたCNNによる読唇2016

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 3DAAMを用いた顔方向非依存の読唇の評価2016

    • 著者名/発表者名
      渡辺 拓也,桂田 浩一,金澤 靖
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 大語彙マルチモーダル音声認識に向けたデータ収集2016

    • 著者名/発表者名
      鵜飼 和渡,田村 哲嗣,速水 悟
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 口唇画像と深度情報を用いたマルチモーダル読唇2016

    • 著者名/発表者名
      宮崎 晃一,田村 哲嗣,速水 悟
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 画像情報を用いた深層ボトルネック特徴量による発話区間検出2016

    • 著者名/発表者名
      田村 哲嗣,藤原 正希,速水 悟
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 学会報告(INTERSPEECH2016)2016

    • 著者名/発表者名
      田村 哲嗣
    • 学会等名
      第3回サイレント音声認識ワークショップ
    • 発表場所
      福岡朝日ビル、福岡県福岡市
    • 年月日
      2016-10-14 – 2016-10-15
  • [学会発表] 口形極点に基づく連続黙声母音認識への連続音間での相関パラメータ導入の効果2016

    • 著者名/発表者名
      黒木菜緒,永井秀利,中村貞吾
    • 学会等名
      第69回電気・情報関係学会九州支部連合大会講演論文集
    • 発表場所
      宮崎大学、宮崎県宮崎市
    • 年月日
      2016-09-29 – 2016-09-30
  • [学会発表] 日本語単音節発話時と想起時の脳波解析2016

    • 著者名/発表者名
      浅原 康平,中根 丈司,神崎 卓丸,中澤 香太,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • 学会等名
      日本音響学会2016年秋季研究発表会講演論文集
    • 発表場所
      富山大学、富山県富山市
    • 年月日
      2016-09-14 – 2016-09-16
  • [学会発表] 脳波からの日本語単音節認識方式の検討2016

    • 著者名/発表者名
      神崎 卓丸,浅原 康平,中根 丈司,中澤 香太,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • 学会等名
      日本音響学会2016年秋季研究発表会講演論文集
    • 発表場所
      富山大学、富山県富山市
    • 年月日
      2016-09-14 – 2016-09-16
  • [学会発表] Prognostic feature extraction in colorectal cancer by combining the gene expression data and the clinical data2016

    • 著者名/発表者名
      A.Kitajima et al.
    • 学会等名
      15th European Conference on Computational Biology
    • 発表場所
      World Forum Convention Center、The Hague, Netherlands
    • 年月日
      2016-09-03 – 2016-09-07
    • 国際学会
  • [学会発表] Identification of distinct subtypes in colorectal cancer with the survival and the primary sites2016

    • 著者名/発表者名
      Y.Hosokawa et al.
    • 学会等名
      15th European Conference on Computational Biology
    • 発表場所
      World Forum Convention Center、The Hague, Netherlands
    • 年月日
      2016-09-03 – 2016-09-07
    • 国際学会
  • [学会発表] フレーム連結画像を用いたCNNによるシーン認識2016

    • 著者名/発表者名
      齊藤 剛史,Ziheng Zhou,Iryna Anina,Guoying Zhao,Matti Pietikainen
    • 学会等名
      第19回 画像の認識・理解シンポジウム(MIRU2016)
    • 発表場所
      アクトシティ浜松、静岡県浜松市
    • 年月日
      2016-08-01 – 2016-08-04
  • [備考] 第3回サイレント音声認識ワークショップ

    • URL

      http://www.slab.ces.kyutech.ac.jp/SSRW2016/

  • [学会・シンポジウム開催] ACCV2016 workshop on Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)2016

    • 発表場所
      TICC、台北市、台湾
    • 年月日
      2016-11-21 – 2016-11-21

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi