• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study on multi-modal silent speech recognition technology

Research Project

Project/Area Number 16H03211
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Research Field Rehabilitation science/Welfare engineering
Research InstitutionKyushu Institute of Technology

Principal Investigator

Saitoh Takeshi  九州工業大学, 大学院情報工学研究院, 准教授 (10379654)

Co-Investigator(Kenkyū-buntansha) 田村 哲嗣  岐阜大学, 工学部, 准教授 (10402215)
桂田 浩一  東京理科大学, 理工学部情報科学科, 准教授 (80324490)
速水 悟  岐阜大学, 工学部, 教授 (90345794)
永井 秀利  九州工業大学, 大学院情報工学研究院, 助教 (60237485)
山崎 敏正  九州工業大学, 大学院情報工学研究院, 教授 (50392163)
Project Period (FY) 2016-04-01 – 2020-03-31
Project Status Completed (Fiscal Year 2019)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2019: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2018: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2017: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2016: ¥8,190,000 (Direct Cost: ¥6,300,000、Indirect Cost: ¥1,890,000)
Keywordsヒューマンインタフェース / サイレントスピーチ音声認識 / サイレント音声認識 / 読唇 / コミュニケーション支援 / ヒューマンインターフェース
Outline of Final Research Achievements

The aim of this research is establishment of silent speech recognition technology that recognizes speech content without audio information, using various data such as images, surface EMG, and EEG. Furthermore, we aimed to develop a multi-modal silent speech recognition technology. Regarding lip-reading technology that uses image information, we aggressively worked on building and publishing a database, developing and publishing a demo application, and holding competitions. We have established a lip-reading method for obtaining high recognition accuracy by introducing deep learning technology. Furthermore, we continued to hold workshops and participated in various events to disseminate the results of this research to society.

Academic Significance and Societal Importance of the Research Achievements

本研究成果は、サイレント音声認識技術の精度向上に努めた学術的意義だけでなく、専門分野の垣根を超えて異分野融合を図り、本研究分野を活性化させるために、関連する研究者や医療・福祉従事者、企業関係者が一堂に会し、交流、情報交換、相互啓発を行う場とするワークショップを継続して開催した。さらに、学会における成果発表だけでなく、高校生向け、エンジニア向け、医療・福祉従事者向けなど各種イベントに出展し、本研究成果を社会に発信しており、本研究課題の成果は社会的意義を有するものである。

Report

(5 results)
  • 2019 Annual Research Report   Final Research Report ( PDF )
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • 2016 Annual Research Report
  • Research Products

    (109 results)

All 2020 2019 2018 2017 2016 Other

All Int'l Joint Research (1 results) Journal Article (3 results) (of which Open Access: 1 results,  Peer Reviewed: 2 results) Presentation (99 results) (of which Int'l Joint Research: 27 results,  Invited: 7 results) Remarks (4 results) Patent(Industrial Property Rights) (1 results) Funded Workshop (1 results)

  • [Int'l Joint Research] University of Oulu(Finland)

    • Related Report
      2016 Annual Research Report
  • [Journal Article] Control of PLEN robot by electroencephalograms on recalling images of its movement2018

    • Author(s)
      Takahiro Yamanoi, Hiroshi Takayanagi, Hisashi Toyoshima, Toshimasa Yamazaki, Michio Sugeno
    • Journal Title

      北海学園大学工学部研究報告

      Volume: 45 Pages: 47-54

    • NAID

      120006378451

    • Related Report
      2017 Annual Research Report
    • Open Access
  • [Journal Article] Potential association between modular structures of brain functional connectivity networks and individual variability in foreign language ability2017

    • Author(s)
      山﨑敏正,秋山暉佳,副島英子,山本宇彦
    • Journal Title

      認知科学

      Volume: 24 Pages: 118-128

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Investigation of DNN-Based Audio-Visual Speech Recognition2016

    • Author(s)
      Satoshi Tamura, Hiroshi Ninomiya, Norihide Kitaoka, Shin Osuga, Yurie Iribe, Kazuya Takeda, Satoru Hayamizu
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E99.D Issue: 10 Pages: 2444-2451

    • DOI

      10.1587/transinf.2016SLP0019

    • NAID

      130005598220

    • ISSN
      0916-8532, 1745-1361
    • Related Report
      2016 Annual Research Report
    • Peer Reviewed
  • [Presentation] マルチモーダル音声強調に対するCycle-Consistencyの導入の検討2020

    • Author(s)
      池上 凌,大村 英史,桂田 浩一
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] StarGAN-VCモデルにおける潜在表現への制約の有効性について2020

    • Author(s)
      柴宮 怜,大村 英史,桂田 浩一
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声想起時脳波中の音節識別について2019

    • Author(s)
      深井 健大郎,大村 英史,桂田 浩一,新田 恒雄
    • Organizer
      人工知能学会第33回全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Universal Transformerを使用した対話破綻検出2019

    • Author(s)
      桑原 健太,大村 英史,桂田 浩一
    • Organizer
      人工知能学会第33回全国大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] LSTMを用いた分類問題における判断根拠可視化の検討2019

    • Author(s)
      齊藤 剛史,徳永 旭将
    • Organizer
      第22回 画像の認識・理解シンポジウム(MIRU2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] LiP25w: Word-level Lip Reading Web Application for Smart Device2019

    • Author(s)
      Takeshi Saitoh and Michiko Kubokawa
    • Organizer
      Proc. of 15th International Conference on Auditory-Visual Speech Processing (AVSP2019)
    • Related Report
      2019 Annual Research Report
  • [Presentation] Lip Reading Experiments for Multiple Databases Using Conventional Method2019

    • Author(s)
      Tatsuya Shirakata and Takeshi Saitoh
    • Organizer
      Proc. of SICE Annual Conference
    • Related Report
      2019 Annual Research Report
  • [Presentation] LiP25w: スマートデバイスで単語読唇2019

    • Author(s)
      齊藤 剛史,白方 達也
    • Organizer
      フォーラム顔学2019
    • Related Report
      2019 Annual Research Report
  • [Presentation] 介護時会話を想定した少数語彙世界における黙声単語認識の一手法2019

    • Author(s)
      永井 秀利,左島 綾乃,中村 貞吾
    • Organizer
      電気関係学会九州支部連合大会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声想起脳波からの言語表象抽出と音節認識2019

    • Author(s)
      深井 健大郎,大村 英史,桂田 浩一,平田 里佳,入部 百合絵,付 明川,田口 亮,新田 恒雄
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 音声想起時脳波の単語尤度ベクトルを用いた単語認識2019

    • Author(s)
      平田 里佳,入部 百合絵,深井 健大郎,桂田 浩一,新田 恒雄
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Real-Time Silent Speech BCI with Japanese Hiragana2019

    • Author(s)
      Gaborit Sylvain, Toshimasa Yamazaki
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Discriminability among Japanese vowels using early components in silent-speech-related potentials2019

    • Author(s)
      Sho Tsukiyama, Toshimasa Yamazaki
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 黙声孤立単音認識における表面筋電チャネルごとの活動開始位置推定時の曖昧さ低減2019

    • Author(s)
      永井 秀利
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 神経難病患者の口形認識に関する研究2019

    • Author(s)
      中村 祐哉,齊藤 剛史,伊藤 和幸
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 介護時会話を想定した少数語彙世界における黙声単語認識の一手法2019

    • Author(s)
      永井 秀利,左島 綾乃,中村 貞吾
    • Organizer
      電子情報通信学会 2019年10月WIT/SP/SSRW研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 3DCNNとBidirectional GRUを用いた読唇2019

    • Author(s)
      小口 優人,大村 英史,桂田 浩一
    • Organizer
      第6回サイレント音声認識ワークショップ
    • Related Report
      2019 Annual Research Report
  • [Presentation] 深層学習とAdaBoostによる連続発話画像の認識2019

    • Author(s)
      嶺山 広樹,山下 遼真,中島 成穂,磯部 真之介,田村 哲嗣,速水 悟
    • Organizer
      第6回サイレント音声認識ワークショップ
    • Related Report
      2019 Annual Research Report
  • [Presentation] 3DCNNを用いた口唇画像の発話認識2019

    • Author(s)
      山下 遼真,速水 悟,田村 哲嗣,嶺山 広樹,赤澤 玲,中島 成穂,磯部 真之介,西脇 拓実,前田 翼
    • Organizer
      第6回サイレント音声認識ワークショップ
    • Related Report
      2019 Annual Research Report
  • [Presentation] 読唇のためのDCCAを用いたマルチモーダルデータ拡張2019

    • Author(s)
      下西 雅樹,田村 哲嗣,速水 悟
    • Organizer
      電子情報通信学会 2019年1月音声研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Multimodal feature conversion for visual speech recognition using deep ca0nical correlation analysis2019

    • Author(s)
      Masaki Shimonishi, Satoshi Tamura and Satoru Hayamizu,
    • Organizer
      NCSP'19
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] CNNを用いた文章発話シーンに対する単音読唇2019

    • Author(s)
      清水 翔太,齊藤 剛史
    • Organizer
      動的画像処理実利用化ワークショップ2019(DIA2019)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層ボトルネック特徴と深層正準相関分析を用いたマルチモーダル声質変換2018

    • Author(s)
      田村 哲嗣,堀尾 健斗,遠藤 肇,速水 悟,戸田 智基
    • Organizer
      電子情報通信学会 2018年6月音声研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] SSSDを用いた深層学習による読唇精度に関する検討2018

    • Author(s)
      窪川 美智子,齊藤 剛史
    • Organizer
      第21回 画像の認識・理解シンポジウム(MIRU2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] SSSD: Speech Scene Database by Smart Device for Visual Speech Recognition2018

    • Author(s)
      Takeshi Saitoh and Michiko Kubokawa
    • Organizer
      24th International Conference on Pattern Recognition (ICPR2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Audio-visual voice conversion using deep ca0nical correlation analysis for deep bottleneck features2018

    • Author(s)
      Satoshi Tamura, Kento Horio, Hajime Endo, Satoru Hayamizu and Tomoki Toda,
    • Organizer
      INTERSPEECH2019
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] SSSDを用いた深層学習による読唇実験報告2018

    • Author(s)
      齊藤 剛史,窪川 美智子
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 口唇画像を用いたCNN-HMMによる数字発話認識2018

    • Author(s)
      中島 成穂,尾崎 司,田村 哲嗣,速水 悟
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 深層ボトルネック特徴と深層正準相関分析を用いたマルチモーダル声質変換2018

    • Author(s)
      田村 哲嗣,堀尾 健斗,遠藤 肇,速水 悟,戸田 智基
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 黙声認識における冗長ウェーブレット係数の集合選択に依存した周波数特徴の違い2018

    • Author(s)
      永井 秀利
    • Organizer
      FIT2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] ウェーブレット係数集合選択によるスクワット運動時表面筋電の周波数特徴の違い2018

    • Author(s)
      縄田聖人,永井秀利,中村貞吾
    • Organizer
      電気・情報関係学会九州支部連合大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 表面筋電の冗長ウェーブレット係数集合タイプによる特徴差2018

    • Author(s)
      永井 秀利
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] ウェーブレット係数集合の選択による黙声発声開始位置推定手法2018

    • Author(s)
      永井 秀利
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Active Appearance Modelsを用いた読唇2018

    • Author(s)
      小口 優人,大村 英史,桂田 浩一
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 発話時脳波を利用した音声言語情報の識別2018

    • Author(s)
      深井 健大郎,大村 英史,桂田 浩一,平田 里佳,入部 百合絵,新田 恒雄
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] Silent-speech-related potentials -grand averagesによる検討-2018

    • Author(s)
      山﨑 敏正,東 直人
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
  • [Presentation] 機械学習と深層学習による時系列モデル入門2018

    • Author(s)
      速水 悟
    • Organizer
      第5回サイレント音声認識ワークショップ
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] A method to estimate the active site by the brain functional connectivity networks based on electroencephalograms during various facial expressions2018

    • Author(s)
      A.Watanabe, T.Yamazaki, I.Nemoto
    • Organizer
      Neuroscience 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Differences in scalp-recorded EEG based brain functional connectivity networks between Alzheimer's disease and elderly controls2018

    • Author(s)
      S.Nishijima, Y.Kuroiwa, H.Nakane, K.Fuji0, T.Hirai, K.Suzuki, Y.Baba, T.Yamazaki
    • Organizer
      Neuroscience 2018
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 再帰型ニューラルネットワークを用いた動き特徴量による単語読唇システムの開発2018

    • Author(s)
      齊藤 剛史,窪川 美智子
    • Organizer
      ビジョン技術の実利用ワークショップ(ViEW2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Brain functional connectivity network flexibilityによる学習効果個人差の定量化2018

    • Author(s)
      秋山暉佳,副島英子,山﨑敏正,山本宇彦
    • Organizer
      電子情報通信学会 ニューロコンピューティング研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 相関規則マイニングの表情刺激時におけるbrain functional connectivity networkへの応用2018

    • Author(s)
      渡邊朝子,山﨑敏正
    • Organizer
      電子情報通信学会 ニューロコンピューティング研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 表面筋電チャネル間における筋活動推移の類似性を用いた黙声日本語単音認識2018

    • Author(s)
      永井 秀利
    • Organizer
      電子情報通信学会 MEとバイオサイバネティックス研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 変分オートエンコーダーを用いた多重音解析の性能評価2018

    • Author(s)
      森口寛生,大村英史,桂田浩一
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] SSSD:スマートデバイスを用いた読唇技術向け日本語データベース2018

    • Author(s)
      齊藤 剛史,窪川 美智子
    • Organizer
      電子情報通信学会 パターン認識とメディア理解研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 日本語音節発話・想起時の脳波解析2017

    • Author(s)
      浅原 康平,中根 丈司,神崎 卓丸,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • Organizer
      日本音響学会2017年春季研究発表会講演論文集
    • Place of Presentation
      明治大学、神奈川県川崎市
    • Year and Date
      2017-03-15
    • Related Report
      2016 Annual Research Report
  • [Presentation] 発話時と想起時の脳波による日本語短音節認識の比較2017

    • Author(s)
      神崎 卓丸,浅原 康平,中根 丈司,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • Organizer
      日本音響学会2017年春季研究発表会講演論文集
    • Place of Presentation
      明治大学、神奈川県川崎市
    • Year and Date
      2017-03-15
    • Related Report
      2016 Annual Research Report
  • [Presentation] Suffix Arrayを用いた高速STDにおけるキーワード分割の最適化に関する検討2017

    • Author(s)
      桂田 浩一
    • Organizer
      日本音響学会2017年春季研究発表会講演論文集
    • Place of Presentation
      明治大学、神奈川県川崎市
    • Year and Date
      2017-03-15
    • Related Report
      2016 Annual Research Report
  • [Presentation] 顔画像の対称3D-AAMによる顔方向非依存な発話認識2017

    • Author(s)
      渡辺 拓也,桂田 浩一,金澤 靖
    • Organizer
      電子情報通信学会技術研究報告
    • Place of Presentation
      京都大学,京都府京都市
    • Year and Date
      2017-01-19
    • Related Report
      2016 Annual Research Report
  • [Presentation] Two Features Combination with Gated Recurrent Unit for Visual Speech Recognition2017

    • Author(s)
      Masaya Iwasaki, Michiko Kubokawa, and Takeshi Saitoh
    • Organizer
      IAPR International Conference on Machine Vision Applications (MVA2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Relationship between the modular structures of BFCNs and individual variability in foreign language learning ability2017

    • Author(s)
      Akiyoshi Akiyama, Asako Watanabe, Toshimasa Yamazaki, Eiko Soejima, Takahiko Yamamoto
    • Organizer
      CAN-ACN 2017
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Discrimination of finger flexion speed using EEG power spectral entropy2017

    • Author(s)
      Haruko Nishida, Naoto Toshima, Toshimasa Yamazaki, Takahiro Yamanoi
    • Organizer
      CAN-ACN 2017
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Spatiotemporal human brain activities on recalling 4-legged mammal and fruit names.2017

    • Author(s)
      Koji Sugimoto, Takahiro Yamanoi, Hisashi Toyoshima, Mika Otsuki, Shin-ichi Ohnishi, Toshimasa Yamazaki:
    • Organizer
      Joint 17th World Congress of International Fuzzy Systems Association and 9th International Conference on Soft Computing and Intelligent Systems (IFSA-SCIS 2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 人工知能,機械学習と深層学習の基礎と応用2017

    • Author(s)
      田村 哲嗣
    • Organizer
      日本医用画像工学会 第36回大会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Lipreading using deep bottleneck features for optical and depth images2017

    • Author(s)
      Satoshi Tamura, Koichi Miyazaki and Satoru Hayamizu
    • Organizer
      14th International Conference on Auditory-Visual Speech Processing (AVSP2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 顔画像に対するコントラスト変換を用いた読唇2017

    • Author(s)
      窪川 美智子,齊藤 剛史
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] CNNを用いた読唇の検討2017

    • Author(s)
      尾崎 司,田村 哲嗣,速水 悟
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] 大語彙リアルタイム読唇システムの構築に向けた試み2017

    • Author(s)
      嶺山 広樹,田村 哲嗣,速水 悟
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層学習によるボトルネック特徴量を用いた マルチモーダル声質変換2017

    • Author(s)
      堀尾 健斗,遠藤 肇,田村 哲嗣,速水 悟
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] 表面筋電計測チャネル間のcos類似度を認識パラメータとした黙声単音認識の試み2017

    • Author(s)
      永井 秀利
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] 脳波による日本語短音節の認識2017

    • Author(s)
      新田 恒雄,桂田 浩一,神崎 卓丸
    • Organizer
      第4回サイレント音声認識ワークショップ
    • Related Report
      2017 Annual Research Report
  • [Presentation] 読唇技術のサーベイ2017

    • Author(s)
      齊藤 剛史
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] サイレント音声認識に関する最新の研究動向(CVPR2017/KDD2017報告)2017

    • Author(s)
      速水 悟
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 頭皮脳波を利用したSSBCIJシステムの研究動向について2017

    • Author(s)
      山﨑 敏正
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 音声と画像によるマルチモーダル音声認識の現状2017

    • Author(s)
      田村 哲嗣
    • Organizer
      計測自動制御学会ライフエンジニアリング部門シンポジウム(LE2017)
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Intensity Correction Effect for Lip Reading2017

    • Author(s)
      Michiko Kubokawa and Takeshi Saitoh
    • Organizer
      28th British Machine Vision Conference (BMVC2017) workshop on Lip-Reading using Deep Learning Methods (LRDLM2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 読唇技術における顔画像に対する輝度補正効果の検証2017

    • Author(s)
      窪川 美智子,齊藤 剛史
    • Organizer
      情報処理学会 コンピュータビジョンとイメージメディア研究会
    • Related Report
      2017 Annual Research Report
  • [Presentation] Comparison of Spatiotemporal Brain Activities on Recalling Tetrapod Animal and Fruit Names2017

    • Author(s)
      Koji Sugimoto, Takahiro Yamanoi, Hisashi Toyoshima, Mika Otsuki, Shin-ichi Ohnishi, and Toshimasa Yamazaki
    • Organizer
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Brain Functional Connectivity Network-based Approach for Recognition of Alzheimer’s Disease in EEG2017

    • Author(s)
      Sakura Nishijima, Toshimasa Yamazaki
    • Organizer
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Prediction of Finger Flexion Speed using EEG Power Spectral Entropy2017

    • Author(s)
      Keisuke Ando, Haruko Nishida and Toshimasa Yamazaki
    • Organizer
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A method to construct and quantify the brain functional connectivity networks based on synchronization likelihood of electroencephalograms during different facial expressions2017

    • Author(s)
      Asako Watanabe, Toshimasa Yamazaki
    • Organizer
      18th International Symposium on Advanced Intelligent Systems (ISIS2017)
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] サイレント音声認識の研究動向 ~読唇技術を中心として~2017

    • Author(s)
      齊藤 剛史
    • Organizer
      電子情報通信学会 音声研究会,福祉情報工学研究会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Efficiency of Independent Component Analysis?for Equivalent Current Dipole Localization2017

    • Author(s)
      Takahiro Yamanoi, Yoshinori Tanaka, Hisashi Toyoshima, Shin-ich Ohnishi, ?and Toshimasa Yamazaki
    • Organizer
      IWACIII2017+ NSFC-CAS-JSPSsymposium2017
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Dynamic generation of thesaurus from plaintext using deep learning2016

    • Author(s)
      K.Matsushita and T.Yamazaki
    • Organizer
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • Place of Presentation
      九州工業大学、福岡県北九州市
    • Year and Date
      2016-12-17
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Denoising of scalp-recorded EEGs using higher-order statistics for BCI2016

    • Author(s)
      N.Toshima and T.Yamazaki
    • Organizer
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • Place of Presentation
      九州工業大学、福岡県北九州市
    • Year and Date
      2016-12-17
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A method for constructing brain functional connectivity network based on synchronization likelihood of scalp-recorded EEGs2016

    • Author(s)
      A.Watanabe and T.Yamazaki
    • Organizer
      4th International symposium on Applied Engineering and Sciences (SAES2016)
    • Place of Presentation
      九州工業大学、福岡県北九州市
    • Year and Date
      2016-12-17
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] EEG during Japanese syllable recall and speech tasks2016

    • Author(s)
      Kohei Asahara, Jozi Nakane, Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Tsuneo Nitta, and Junsei Horikawa
    • Organizer
      The 3rd Annual Meeting of the Society for Bioacoustics
    • Place of Presentation
      伊良湖シーパーク&スパ、愛知県田原市
    • Year and Date
      2016-12-10
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Japanese monosyllable recognition from EEG2016

    • Author(s)
      Takumaru Kanzaki, Shunji Sugimoto, Kouich Katsurada, Junsei Horikawa, and Tsuneo Nitta
    • Organizer
      The 3rd Annual Meeting of the Society for Bioacoustics
    • Place of Presentation
      伊良湖シーパーク&スパ、愛知県田原市
    • Year and Date
      2016-12-10
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Lip Reading from Multi View Facial Images Using 3D-AAM2016

    • Author(s)
      Takuya Watanabe, Kouichi Katsurada, and Yasushi Kanazawa
    • Organizer
      ACCV2016 workshop: Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)
    • Place of Presentation
      TICC、台北市、台湾
    • Year and Date
      2016-11-20
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Concatenated Frame Image based CNN for Visual Speech Recognition2016

    • Author(s)
      Takeshi Saitoh, Ziheng Zhou, Guoying Zhao, and Matti Pietikainen
    • Organizer
      ACCV2016 workshop: Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)
    • Place of Presentation
      TICC、台北市、台湾
    • Year and Date
      2016-11-20
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Continuous Inaudible Recognition of Japanese Vowels Using Features Detected at Lips Shape Peaks based on Surface Electromyography2016

    • Author(s)
      Nao Kurogi, Hidetoshi Nagai, Teigo Nakamura
    • Organizer
      3rd International Conference on Systems and Informatics (ICSAI 2016)
    • Place of Presentation
      上海、中国
    • Year and Date
      2016-11-19
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 読唇向け公開データベースの紹介2016

    • Author(s)
      窪川 美智子,齊藤 剛史
    • Organizer
      第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016)
    • Place of Presentation
      芝浦工業大学、東京都江東区
    • Year and Date
      2016-11-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] フレーム連結画像を用いたCNNによる読唇2016

    • Author(s)
      齊藤 剛史
    • Organizer
      第6回バイオメトリクスと認識・認証シンポジウム(SBRA2016)
    • Place of Presentation
      芝浦工業大学、東京都江東区
    • Year and Date
      2016-11-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] Development of audio-visual speech corpus toward speaker-independent Japanese LVCSR2016

    • Author(s)
      Kazuto Ukai, Satoshi Tamura and Satoru Hayamizu
    • Organizer
      Oriental COCOSDA 2016
    • Place of Presentation
      Grand Aston Benoa, Bali, Indonesia
    • Year and Date
      2016-10-26
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 連続音間の相関パラメータを導入した口形極点に基づく連続黙声母音認識2016

    • Author(s)
      黒木菜緒,永井秀利,中村貞吾
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 少数語彙世界の特性を活用した黙声音声認識手法に関する一提案2016

    • Author(s)
      永井秀利,渡邉優実,中村貞吾
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] EEG信号からの日本語単音節認識2016

    • Author(s)
      新田 恒雄,神崎 卓丸,堀川 順生,杉本 俊二,浅原 康平,中根 丈司,中澤 香太,桂田浩一
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] フレーム連結画像を用いたCNNによる読唇2016

    • Author(s)
      齊藤 剛史
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 3DAAMを用いた顔方向非依存の読唇の評価2016

    • Author(s)
      渡辺 拓也,桂田 浩一,金澤 靖
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 大語彙マルチモーダル音声認識に向けたデータ収集2016

    • Author(s)
      鵜飼 和渡,田村 哲嗣,速水 悟
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 口唇画像と深度情報を用いたマルチモーダル読唇2016

    • Author(s)
      宮崎 晃一,田村 哲嗣,速水 悟
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 画像情報を用いた深層ボトルネック特徴量による発話区間検出2016

    • Author(s)
      田村 哲嗣,藤原 正希,速水 悟
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 学会報告(INTERSPEECH2016)2016

    • Author(s)
      田村 哲嗣
    • Organizer
      第3回サイレント音声認識ワークショップ
    • Place of Presentation
      福岡朝日ビル、福岡県福岡市
    • Year and Date
      2016-10-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 口形極点に基づく連続黙声母音認識への連続音間での相関パラメータ導入の効果2016

    • Author(s)
      黒木菜緒,永井秀利,中村貞吾
    • Organizer
      第69回電気・情報関係学会九州支部連合大会講演論文集
    • Place of Presentation
      宮崎大学、宮崎県宮崎市
    • Year and Date
      2016-09-29
    • Related Report
      2016 Annual Research Report
  • [Presentation] 日本語単音節発話時と想起時の脳波解析2016

    • Author(s)
      浅原 康平,中根 丈司,神崎 卓丸,中澤 香太,桂田 浩一,杉本 俊二,新田 恒雄,堀川 順生
    • Organizer
      日本音響学会2016年秋季研究発表会講演論文集
    • Place of Presentation
      富山大学、富山県富山市
    • Year and Date
      2016-09-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] 脳波からの日本語単音節認識方式の検討2016

    • Author(s)
      神崎 卓丸,浅原 康平,中根 丈司,中澤 香太,桂田 浩一,杉本 俊二,堀川 順生,新田 恒雄
    • Organizer
      日本音響学会2016年秋季研究発表会講演論文集
    • Place of Presentation
      富山大学、富山県富山市
    • Year and Date
      2016-09-14
    • Related Report
      2016 Annual Research Report
  • [Presentation] Prognostic feature extraction in colorectal cancer by combining the gene expression data and the clinical data2016

    • Author(s)
      A.Kitajima et al.
    • Organizer
      15th European Conference on Computational Biology
    • Place of Presentation
      World Forum Convention Center、The Hague, Netherlands
    • Year and Date
      2016-09-03
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Identification of distinct subtypes in colorectal cancer with the survival and the primary sites2016

    • Author(s)
      Y.Hosokawa et al.
    • Organizer
      15th European Conference on Computational Biology
    • Place of Presentation
      World Forum Convention Center、The Hague, Netherlands
    • Year and Date
      2016-09-03
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] フレーム連結画像を用いたCNNによるシーン認識2016

    • Author(s)
      齊藤 剛史,Ziheng Zhou,Iryna Anina,Guoying Zhao,Matti Pietikainen
    • Organizer
      第19回 画像の認識・理解シンポジウム(MIRU2016)
    • Place of Presentation
      アクトシティ浜松、静岡県浜松市
    • Year and Date
      2016-08-01
    • Related Report
      2016 Annual Research Report
  • [Remarks] 第5回サイレント音声認識ワークショップ

    • URL

      http://www.slab.ces.kyutech.ac.jp/SSRW2018

    • Related Report
      2018 Annual Research Report
  • [Remarks] 読唇技術デモンストレーションWebアプリケーション

    • URL

      https://demo.slab.ces.kyutech.ac.jp/VSR/index.html

    • Related Report
      2018 Annual Research Report
  • [Remarks] 第4回サイレント音声認識ワークショップ

    • URL

      http://www.slab.ces.kyutech.ac.jp/SSRW2017/

    • Related Report
      2017 Annual Research Report
  • [Remarks] 第3回サイレント音声認識ワークショップ

    • URL

      http://www.slab.ces.kyutech.ac.jp/SSRW2016/

    • Related Report
      2016 Annual Research Report
  • [Patent(Industrial Property Rights)] 読唇装置及び読唇方法2019

    • Inventor(s)
      齊藤剛史
    • Industrial Property Rights Holder
      齊藤剛史
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2019-213234
    • Filing Date
      2019
    • Related Report
      2019 Annual Research Report
  • [Funded Workshop] ACCV2016 workshop on Multi-view Lip-reading/Audio-visual Challenges (MLAC2016)2016

    • Place of Presentation
      TICC、台北市、台湾
    • Related Report
      2016 Annual Research Report

URL: 

Published: 2016-04-21   Modified: 2021-02-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi