• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

マルチモーダルサイレント音声認識技術に関する研究

研究課題

研究課題/領域番号 16H03211
研究機関九州工業大学

研究代表者

齊藤 剛史  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)

研究分担者 田村 哲嗣  岐阜大学, 工学部, 准教授 (10402215)
桂田 浩一  東京理科大学, 理工学部情報科学科, 准教授 (80324490)
速水 悟  岐阜大学, 工学部, 教授 (90345794)
永井 秀利  九州工業大学, 大学院情報工学研究院, 助教 (60237485)
山崎 敏正  九州工業大学, 大学院情報工学研究院, 教授 (50392163)
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワードヒューマンインタフェース
研究実績の概要

1.実施計画に基づき、本研究グループが企画・運営するワークショップ(第4回サイレント音声認識ワークショップ)を2017年9月3日(日)~4日(月)に岐阜大学JR岐阜駅前サテライトキャンパスで開催した。今回は新しい試みとして、計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)と併催し、ワークショップの2日目のセッションは、LE2017のオーガナイズドセッション「サイレント音声認識の現状と今後」として、5件の発表のうち、本研究グループメンバー4名が招待講演として各研究について発表した。ワークショップの発表件数は18件であった。また実施計画通りに表彰制度において学生奨励賞1名を表彰した。
2.本研究グループメンバーは、前述のLE2017のオーガナイズドセッションにおける招待講演の他に、国内学会で招待講演2件を行い、本研究テーマについてアピールした。また研究代表者は、ひらめき☆ときめきサイエンスなどにおいても本研究テーマについて高校生向けに紹介した。
3.本研究グループ6名の研究者は、各モダリティ、あるいはバイモーダルなどの各テーマで研究を進め、雑誌論文1編、国際学会発表11件、国内学会発表18件の研究成果を挙げた。
4.カラー画像を用いた音声認識技術である読唇技術において、研究代表者がスマートデバイスを用いた発話シーンデータベース(SSSD)を構築し、国内学会で発表した。このデータベースは2018年4月に研究者向けに無償で公開しており、読唇技術の活性化に貢献した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ワークショップの開催に関しては、LE2017と併催することでより多くの研究者に本研究テーマについて紹介した。さらにその他の招待講演なども実施した。
本研究グループ6名の研究者は、各テーマにおける研究を進め、国内外でそれぞれ研究成果を発表した。
サイレント音声認識技術の一つである読唇技術における公開データベースを構築した。

今後の研究の推進方策

ワークショップについては継続して開催する。2018年度は東京理科大学野田キャンパスで開催する予定である。これまで同様に学生奨励賞を設ける。さらに新しい企画として、公開データベースSSSDを用いたコンペティションをワークショップ内で開催する予定である。

  • 研究成果

    (31件)

すべて 2018 2017 その他

すべて 雑誌論文 (1件) (うちオープンアクセス 1件) 学会発表 (29件) (うち国際学会 11件、 招待講演 6件) 備考 (1件)

  • [雑誌論文] Control of PLEN robot by electroencephalograms on recalling images of its movement2018

    • 著者名/発表者名
      Takahiro Yamanoi, Hiroshi Takayanagi, Hisashi Toyoshima, Toshimasa Yamazaki, Michio Sugeno
    • 雑誌名

      北海学園大学工学部研究報告

      巻: 45 ページ: 47-54

    • オープンアクセス
  • [学会発表] Brain functional connectivity network flexibilityによる学習効果個人差の定量化2018

    • 著者名/発表者名
      秋山暉佳,副島英子,山﨑敏正,山本宇彦
    • 学会等名
      電子情報通信学会 ニューロコンピューティング研究会
  • [学会発表] 相関規則マイニングの表情刺激時におけるbrain functional connectivity networkへの応用2018

    • 著者名/発表者名
      渡邊朝子,山﨑敏正
    • 学会等名
      電子情報通信学会 ニューロコンピューティング研究会
  • [学会発表] 表面筋電チャネル間における筋活動推移の類似性を用いた黙声日本語単音認識2018

    • 著者名/発表者名
      永井 秀利
    • 学会等名
      電子情報通信学会 MEとバイオサイバネティックス研究会
  • [学会発表] 変分オートエンコーダーを用いた多重音解析の性能評価2018

    • 著者名/発表者名
      森口寛生,大村英史,桂田浩一
    • 学会等名
      情報処理学会第80回全国大会
  • [学会発表] SSSD:スマートデバイスを用いた読唇技術向け日本語データベース2018

    • 著者名/発表者名
      齊藤 剛史,窪川 美智子
    • 学会等名
      電子情報通信学会 パターン認識とメディア理解研究会
  • [学会発表] Two Features Combination with Gated Recurrent Unit for Visual Speech Recognition2017

    • 著者名/発表者名
      Masaya Iwasaki, Michiko Kubokawa, and Takeshi Saitoh
    • 学会等名
      IAPR International Conference on Machine Vision Applications (MVA2017)
    • 国際学会
  • [学会発表] Relationship between the modular structures of BFCNs and individual variability in foreign language learning ability2017

    • 著者名/発表者名
      Akiyoshi Akiyama, Asako Watanabe, Toshimasa Yamazaki, Eiko Soejima, Takahiko Yamamoto
    • 学会等名
      CAN-ACN 2017
    • 国際学会
  • [学会発表] Discrimination of finger flexion speed using EEG power spectral entropy2017

    • 著者名/発表者名
      Haruko Nishida, Naoto Toshima, Toshimasa Yamazaki, Takahiro Yamanoi
    • 学会等名
      CAN-ACN 2017
    • 国際学会
  • [学会発表] Spatiotemporal human brain activities on recalling 4-legged mammal and fruit names.2017

    • 著者名/発表者名
      Koji Sugimoto, Takahiro Yamanoi, Hisashi Toyoshima, Mika Otsuki, Shin-ichi Ohnishi, Toshimasa Yamazaki:
    • 学会等名
      Joint 17th World Congress of International Fuzzy Systems Association and 9th International Conference on Soft Computing and Intelligent Systems (IFSA-SCIS 2017)
    • 国際学会
  • [学会発表] 人工知能,機械学習と深層学習の基礎と応用2017

    • 著者名/発表者名
      田村 哲嗣
    • 学会等名
      日本医用画像工学会 第36回大会
    • 招待講演
  • [学会発表] Lipreading using deep bottleneck features for optical and depth images2017

    • 著者名/発表者名
      Satoshi Tamura, Koichi Miyazaki and Satoru Hayamizu
    • 学会等名
      14th International Conference on Auditory-Visual Speech Processing (AVSP2017)
    • 国際学会
  • [学会発表] 顔画像に対するコントラスト変換を用いた読唇2017

    • 著者名/発表者名
      窪川 美智子,齊藤 剛史
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] CNNを用いた読唇の検討2017

    • 著者名/発表者名
      尾崎 司,田村 哲嗣,速水 悟
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] 大語彙リアルタイム読唇システムの構築に向けた試み2017

    • 著者名/発表者名
      嶺山 広樹,田村 哲嗣,速水 悟
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] 深層学習によるボトルネック特徴量を用いた マルチモーダル声質変換2017

    • 著者名/発表者名
      堀尾 健斗,遠藤 肇,田村 哲嗣,速水 悟
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] 表面筋電計測チャネル間のcos類似度を認識パラメータとした黙声単音認識の試み2017

    • 著者名/発表者名
      永井 秀利
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] 脳波による日本語短音節の認識2017

    • 著者名/発表者名
      新田 恒雄,桂田 浩一,神崎 卓丸
    • 学会等名
      第4回サイレント音声認識ワークショップ
  • [学会発表] 読唇技術のサーベイ2017

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • 招待講演
  • [学会発表] サイレント音声認識に関する最新の研究動向(CVPR2017/KDD2017報告)2017

    • 著者名/発表者名
      速水 悟
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • 招待講演
  • [学会発表] 頭皮脳波を利用したSSBCIJシステムの研究動向について2017

    • 著者名/発表者名
      山﨑 敏正
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • 招待講演
  • [学会発表] 音声と画像によるマルチモーダル音声認識の現状2017

    • 著者名/発表者名
      田村 哲嗣
    • 学会等名
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • 招待講演
  • [学会発表] Intensity Correction Effect for Lip Reading2017

    • 著者名/発表者名
      Michiko Kubokawa and Takeshi Saitoh
    • 学会等名
      28th British Machine Vision Conference (BMVC2017) workshop on Lip-Reading using Deep Learning Methods (LRDLM2017)
    • 国際学会
  • [学会発表] 読唇技術における顔画像に対する輝度補正効果の検証2017

    • 著者名/発表者名
      窪川 美智子,齊藤 剛史
    • 学会等名
      情報処理学会 コンピュータビジョンとイメージメディア研究会
  • [学会発表] Comparison of Spatiotemporal Brain Activities on Recalling Tetrapod Animal and Fruit Names2017

    • 著者名/発表者名
      Koji Sugimoto, Takahiro Yamanoi, Hisashi Toyoshima, Mika Otsuki, Shin-ichi Ohnishi, and Toshimasa Yamazaki
    • 学会等名
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • 国際学会
  • [学会発表] Brain Functional Connectivity Network-based Approach for Recognition of Alzheimer’s Disease in EEG2017

    • 著者名/発表者名
      Sakura Nishijima, Toshimasa Yamazaki
    • 学会等名
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • 国際学会
  • [学会発表] Prediction of Finger Flexion Speed using EEG Power Spectral Entropy2017

    • 著者名/発表者名
      Keisuke Ando, Haruko Nishida and Toshimasa Yamazaki
    • 学会等名
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • 国際学会
  • [学会発表] A method to construct and quantify the brain functional connectivity networks based on synchronization likelihood of electroencephalograms during different facial expressions2017

    • 著者名/発表者名
      Asako Watanabe, Toshimasa Yamazaki
    • 学会等名
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • 国際学会
  • [学会発表] サイレント音声認識の研究動向 ~読唇技術を中心として~2017

    • 著者名/発表者名
      齊藤 剛史
    • 学会等名
      電子情報通信学会 音声研究会,福祉情報工学研究会
    • 招待講演
  • [学会発表] Efficiency of Independent Component Analysis?for Equivalent Current Dipole Localization2017

    • 著者名/発表者名
      Takahiro Yamanoi, Yoshinori Tanaka, Hisashi Toyoshima, Shin-ich Ohnishi, ?and Toshimasa Yamazaki
    • 学会等名
      IWACIII2017+ NSFC-CAS-JSPSsymposium2017
    • 国際学会
  • [備考] 第4回サイレント音声認識ワークショップ

    • URL

      http://www.slab.ces.kyutech.ac.jp/SSRW2017/

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi