• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

言語の壁を超える低資源多言語Machine Speech Chain技術の構築

研究課題

研究課題/領域番号 23K21681
補助金の研究課題番号 21H03467 (2021-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2021-2023)
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関奈良先端科学技術大学院大学 (2024)
北陸先端科学技術大学院大学 (2021-2023)

研究代表者

SAKTI Sakriani  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00395005)

研究分担者 中村 哲  奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (30263429)
研究期間 (年度) 2021-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2025年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
2024年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2023年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2022年度: 3,250千円 (直接経費: 2,500千円、間接経費: 750千円)
2021年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワード低資源音声技術 / 多言語音声認識 / 多言語音声合成 / 音声翻訳 / Machine Speech Chain
研究開始時の研究の概要

海外からの居住者および観光客との言葉の壁は深刻な問題となっている。いくつかの音声翻訳サービスが実用化されているが、高精度の翻訳性能を実現するために、広範な音声と対応する書き起こしデータを使用する教師あり学習ディープラーニングに基づいた音声翻訳の開発が必須である。一方、人間は機械学習のように大量のデータを使わなくとも、日常生活において自然に言語を習得できる。本研究では、人間の言語習得プロセス、特にSpeech Chain メカニズムに基づいて、多言語の言語習得のための新しいディープラーニングの教師なしおよび半教師あり学習メカニズムを提案する。

研究実績の概要

新型コロナ感染等による危機管理のグローバル化や、大型国際イベントの開催など、海外からの居住者および観光客との言葉の壁は深刻な問題となっている。いくつかの音声翻訳サービスが実用化されているが、高精度の翻訳性能を実現するために、広範な音声と対応する書き起こしデータを使用する教師あり学習ディープラーニングに基づいた音声翻訳の開発が必須である。本研究では、人間の言語習得プロセス、特にSpeech Chain メカニズムに基づいて、多言語の言語習得のための新しいディープラーニングの教師なしおよび半教師あり学習メカニズムを提案する。本研究で以下の課題を構成して取り組む。課題1:人間の言語処理および認知に関する文献調査および検証、課題2:リソースの少ない言語の音声およびテキストデータの収集、課題3:多言語Machine Speech Chainフレームワークの開発、「話しながら聞いて多言語を学ぶ」を実行する(オフライン半教師あり学習)、課題4:多言語Machine Speech Chainフレームワークの改善、リアルタイム学習(オフラインとオンライン学習)を実行する、課題5:多言語Machine Speech Chainフレームワークの改善、自己Lifelong学習(オンライン学習)を実行する、課題6:多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込む、課題7:音声翻訳のため、多言語Machine Speech Chainフレームワークの開発、「話しながら聞いて翻訳する」を実行す
る(オフライン半教師あり学習とオンライン自己Lifelong学習)。R5年度までは、課題1-5:多言語Machine Speech Chainフレームワークの改善の開発しました。合計で、3つの招待講演(基調講演)、10つの査読付き国際会議論文、7つの国内会議論文を行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

R5年度までは、計画どおり、課題1-5:多言語Machine Speech Chainフレームワークの改善の開発しました。 リアルタイム学習(オンライン学習)Machine Speech Chainの研究に関連して、リアルタイムで状況に適応できる機械の発話連鎖フレームワークの性能を更に向上させることに成功しまして、IEEE ICASSPというトップ国際会議で発表された。さらに、来年の目標である課題6:多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込む開始しまして、国際会議での出版も達成できた。しかし、異なる多言語の大量の作業は、アノテーションされた音声データの不足のため困難です。そのため、未知の未翻訳言語に対処するためにビジュアルグラウンディングモデルのアプローチを提案しました。また、多言語システムのためにインドネシアの大学及びベトナムの研究所とも連携して、国際会議に論文を投稿した。

今後の研究の推進方策

R6年度では、以下の課題に取り組みます。
課題3:多言語Machine Speech Chainフレームワーク「話しながら聞いて多言語を学ぶ」(オフライン半教師あり学習)の開発に関しては、実験を継続します。特に、新しい教師なし機械Machine Speech Chainの可能性を調査します。
課題4:多言語Machine Speech Chainフレームワークの改善とリアルタイム学習(オフラインとオンライン学習)の開発に関しては、インクリメンタルMachine Speech Chainの実験を継続します。特にMachine Speech Chainの性能を改善し、さらに多くの言語を調査します。
課題5:多言語Machine Speech Chainフレームワークの改善と自己Lifelong学習(オンライン学習)に関しては、実験を継続します。
課題6:多言語Machine Speech Chainフレームワーク内に機械翻訳を組み込みます。
特に課題6に焦点を当てつつ、課題3から5をさらに強化し続けます。

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (81件)

すべて 2023 2022 2021 その他

すべて 国際共同研究 (3件) 雑誌論文 (35件) (うち国際共著 6件、 査読あり 27件、 オープンアクセス 17件) 学会発表 (43件) (うち国際学会 31件、 招待講演 14件)

  • [国際共同研究] Bandung Institute of Technology/University of Indonesia(インドネシア)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Institute of Information Technology(ベトナム)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Bandung Institute of Technology/University of Indonesia(インドネシア)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Leveraging the Multilingual Indonesian Ethnic Languages Dataset In Self-Supervised Models for Low-Resource ASR Task2023

    • 著者名/発表者名
      Sakti Sakriani, Titalim Benita Angela
    • 雑誌名

      Proceedings of the IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)

      巻: Vol. 1 ページ: 1314-1321

    • DOI

      10.1109/asru57964.2023.10389730

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Speech Recognition and Meaning Interpretation: Towards Disambiguation of Structurally Ambiguous Spoken Utterances in Indonesian2023

    • 著者名/発表者名
      Widiaputri Ruhiyah, Purwarianti Ayu, Lestari Dessi, Azizah Kurniawati, Tanaya Dipta、Sakti Sakriani
    • 雑誌名

      Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP)

      巻: Vol. 1 ページ: 16813-16824

    • DOI

      10.18653/v1/2023.emnlp-main.1045

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Generating Speech with Prosodic Prominence based on SSL-Visually Grounded Models2023

    • 著者名/発表者名
      Ika Hartanti Bella Septina, Tanaya Dipta, Azizah Kurniawati, Lestari Dessi Puji、Purwarianti Ayu、Sakti Sakriani
    • 雑誌名

      Proceeding of the Conference of the Oriental COCOSDA

      巻: Vol. 1 ページ: 1-6

    • DOI

      10.1109/o-cocosda60357.2023.10482965

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Exploring Difficulties Encountered by Professional Interpreters in Japanese-to-English and English-to-Japanese Simultaneous Translation2023

    • 著者名/発表者名
      Xi Hang, Sakti Sakriani
    • 雑誌名

      Proceeding of the Conference of the Oriental COCOSDA

      巻: Vol. 1 ページ: 1-6

    • DOI

      10.1109/o-cocosda60357.2023.10482968

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] STEN-TTS: Improving Zero-shot Cross-Lingual Transfer for Multi-Lingual TTS with Style-Enhanced Normalization Diffusion Framework2023

    • 著者名/発表者名
      Tran Chung, Luong Chi Mai, Sakti Sakriani
    • 雑誌名

      Proceedings of the INTERSPEECH

      巻: Vol. 1 ページ: 4464-4468

    • DOI

      10.21437/interspeech.2023-2243

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Unsupervised Learning of Discrete Latent Representations with Data-Adaptive Dimensionality from Continuous Speech Streams2023

    • 著者名/発表者名
      Takahashi Shun, Sakti Sakriani
    • 雑誌名

      Proceedings of the INTERSPEECH

      巻: Vol. 1 ページ: 416-420

    • DOI

      10.21437/interspeech.2023-1321

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Low-Resource Japanese-English Speech-to-Text Translation Leveraging Speech-Text Unified-model Representation Learning2023

    • 著者名/発表者名
      Tran Tu Dinh, Sakti Sakriani
    • 雑誌名

      Proceedings of the INTERSPEECH Satellite Workshop - the ELRA/ISCA Special Interest Group on Under-resourced Languages (SIGUL)

      巻: Vol. 1 ページ: 78-82

    • DOI

      10.21437/sigul.2023-17

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] VGSAlign: Bilingual Speech Alignment of Unpaired and Untranscribed Languages using Self-Supervised Visually Grounded Speech Models2023

    • 著者名/発表者名
      Nguyen Luan Thanh, Sakti Sakriani
    • 雑誌名

      Proceedings of the INTERSPEECH Satellite Workshop - the ELRA/ISCA Special Interest Group on Under-resourced Languages (SIGUL)

      巻: Vol. 1 ページ: 53-57

    • DOI

      10.21437/sigul.2023-12

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] An Isotropy Analysis for Self-Supervised Acoustic Unit Embeddings on the Zero Resource Speech Challenge 2021 Framework2023

    • 著者名/発表者名
      Chen Jianan, Sakti Sakriani
    • 雑誌名

      Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

      巻: Vol. 1 ページ: 1-5

    • DOI

      10.1109/icassp49357.2023.10095119

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Self-Adaptive Incremental Machine Speech Chain for Lombard TTS with High-Granularity ASR Feedback in Dynamic Noise Condition2023

    • 著者名/発表者名
      Novitasari Sashi、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

      巻: Vol. 1 ページ: 1-5

    • DOI

      10.1109/icassp49357.2023.10096128

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Investigation of Cross-Lingual Mismatch in Low-resource ASR for Indonesian Ethnic Languages2023

    • 著者名/発表者名
      Sakti Sakriani, Titalim Benita Angela
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 761-762

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Maintaining Personal Styles in Multilingual TTS with STEN Approach in Diffusion Framework2023

    • 著者名/発表者名
      Tran Chung, Luong Chi Mai, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 775-776

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Non-Parallel Limited Data Emotion Voice Conversion with Variance Adapter and Non-Autoregressive Decoder2023

    • 著者名/発表者名
      Zhang Zhanhang, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 1013-1014

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Deep Sequential Generative Modeling for Unsupervised Learning of Linguistic Representations from Speech Streams2023

    • 著者名/発表者名
      Takahashi Shun, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 825-826

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Perceived Challenges in Simultaneous Japanese-English Translation2023

    • 著者名/発表者名
      Xi Hang, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 827-828

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Utilizing Self-Supervised Visually Grounded Speech Models for Aligning Unpaired and Untranscribed Bilingual Speech2023

    • 著者名/発表者名
      Nguyen Luan Thanh, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 829-830

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Generating Textual Prosody based on ASR2023

    • 著者名/発表者名
      Liu Mingxi, Sakti Sakriani
    • 雑誌名

      Proceedings of the ASJ Spring Meeting

      巻: Vol. 1 ページ: 831-832

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] Japanese Neural Incremental Text-to-Speech Synthesis Framework With an Accent Phrase Input2023

    • 著者名/発表者名
      Yanagita Tomoya、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 22355-22363

    • DOI

      10.1109/access.2023.3251657

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] NIX-TTS: Lightweight and End-to-End Text-to-Speech Via Module-Wise Distillation2023

    • 著者名/発表者名
      Chevi Rendi、Prasojo Radityo Eko、Aji Alham Fikri、Tjandra Andros、Sakti Sakriani
    • 雑誌名

      Proceeding of the IEEE Spoken Language Technology Workshop (SLT) 2023

      巻: 1 ページ: 970-976

    • DOI

      10.1109/slt54892.2023.10023322

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Language technology impact on linguistic diversity2023

    • 著者名/発表者名
      Sakti Sakriani
    • 雑誌名

      In Book: "State of the art of indigenous languages in research: a collection of selected research papers," UNESCO Open Access Repository

      巻: 1 ページ: 341-348

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Cyclic Partially-aligned Transformer for Visually Connected Speech-to-text Mapping2023

    • 著者名/発表者名
      Johanes Effendi、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      Proceeding of the Acoustical Society of Japan (ASJ)

      巻: 1 ページ: 1-2

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 日本語逐次音声合成における合成単位2022

    • 著者名/発表者名
      柳田 智也、サクテイ サクリアニ、中村 哲
    • 雑誌名

      情報処理学会論文誌

      巻: 63 号: 4 ページ: 1149-1158

    • DOI

      10.20729/00217617

    • 年月日
      2022-04-15
    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] A Machine Speech Chain Approach for Dynamically Adaptive Lombard TTS in Static and Dynamic Noise Environments2022

    • 著者名/発表者名
      Novitasari Sashi、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: 30 ページ: 2673-2688

    • DOI

      10.1109/taslp.2022.3196879

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Tackling multiple object tracking with complicated motions ? Re-designing the integration of motion and appearance2022

    • 著者名/発表者名
      Yang Fan、Wang Zheng、Wu Yang、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      Image and Vision Computing

      巻: 124 ページ: 104514-104514

    • DOI

      10.1016/j.imavis.2022.104514

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing2022

    • 著者名/発表者名
      Qi Heli、Novitasari Sashi、Sakti Sakriani、Nakamura Satoshi
    • 雑誌名

      Proceeding of the INTERSPEECH 2022

      巻: 1 ページ: 3413-3417

    • DOI

      10.21437/interspeech.2022-11169

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] NAIST Simultaneous Speech-to-Text Translation System for IWSLT 20222022

    • 著者名/発表者名
      Fukuda Ryo、Ko Yuka、Kano Yasumasa、Doi Kosuke、Tokuyama Hirotaka、Sakti Sakriani、Sudoh Katsuhito、Nakamura Satoshi
    • 雑誌名

      Proceeding of the International Conference on Spoken Language Translation (IWSLT)

      巻: 1 ページ: 286-292

    • DOI

      10.18653/v1/2022.iwslt-1.25

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Modeling Unsupervised Empirical Adaptation by DPGMM and DPGMM-RNN Hybrid Model to Extract Perceptual Features for Low-resource ASR2022

    • 著者名/発表者名
      Bin Wu, Sakriani Sakti, Jinsong Zhang, and Satoshi Nakamura
    • 雑誌名

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      巻: Vol. 30 ページ: 901-916

    • DOI

      10.1109/taslp.2022.3150220

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Neural Incremental Speech Recognition Toward Real-Time Machine Speech Translation2021

    • 著者名/発表者名
      Sashi Novitasari, Sakriani Sakti, Satoshi Nakamura,
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E104.D 号: 12 ページ: 2195-2208

    • DOI

      10.1587/transinf.2021EDP7014

    • NAID

      130008123347

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2021-12-01
    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Code-Switching ASR and TTS Using Semisupervised Learning with Machine Speech Chain2021

    • 著者名/発表者名
      Sahoko Nakayama, Andros Tjandra, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E104.D 号: 10 ページ: 1661-1677

    • DOI

      10.1587/transinf.2021EDP7005

    • NAID

      130008095601

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2021-10-01
    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Multimodal Chain: Cross-Modal Collaboration Through Listening, Speaking, and Visualizing2021

    • 著者名/発表者名
      Johanes Effendi, Andros Tjandra, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 70286-70299

    • DOI

      10.1109/access.2021.3077886

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Using Local Phrase Dependency Structure Information in Neural Sequence-to-Sequence Speech Synthesis2021

    • 著者名/発表者名
      Nobuyoshi Kaiki, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceeding of the Oriental COCOSDA 2021

      巻: 1 ページ: 206-211

    • DOI

      10.1109/o-cocosda202152914.2021.9660456

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Transcribing Paralinguistic Acoustic Cues to Target Language Text in Transformer-Based Speech-to-Text Translation2021

    • 著者名/発表者名
      Hirotaka Tokuyama, Sakriani Sakti, Katsuhito Sudoh, Satoshi Nakamura
    • 雑誌名

      Proceeding of the INTERSPEECH 2021

      巻: 1 ページ: 2262-2266

    • DOI

      10.21437/interspeech.2021-1020

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Weakly-Supervised Speech-to-Text Mapping with Visually Connected Non-Parallel Speech-Text Data Using Cyclic Partially-Aligned Transformer2021

    • 著者名/発表者名
      Johanes Effendi, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceeding of the INTERSPEECH 2021

      巻: 1 ページ: 2257-2261

    • DOI

      10.21437/interspeech.2021-970

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Unsupervised Neural-Based Graph Clustering for Variable-Length Speech Representation Discovery of Zero-Resource Languages2021

    • 著者名/発表者名
      Shun Takahashi, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceeding of the INTERSPEECH 2021

      巻: 1 ページ: 1559-1563

    • DOI

      10.21437/interspeech.2021-1340

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Dynamically Adaptive Machine Speech Chain Inference for TTS in Noisy Environment: Listen and Speak Louder2021

    • 著者名/発表者名
      Sashi Novitasari, Sakriani Sakti, Satoshi Nakamura
    • 雑誌名

      Proceeding of the INTERSPEECH 2021

      巻: 1 ページ: 4124-4128

    • DOI

      10.21437/interspeech.2021-946

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Communicative Intelligent Systems towards Society 5.02023

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      Sarasehan Nasional Pendidikan Tinggi Informatika dan Pemberian Tribute kepada Penggagas dan Pendidik Senior Teknik Informatika ITB
    • 関連する報告書
      2023 実績報告書 2022 実績報告書
    • 招待講演
  • [学会発表] Language Technology for All: From the indigenous community perspectives2023

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      Data, Technologies and Benchmarks for the Spoken Languages of the World" Meeting, IEEE SLT
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Language Technology for All: From the technology and indigenous community perspectives2023

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      the 25th Conference of the Oriental COCOSDA
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Leveraging the Multilingual Indonesian Ethnic Languages Dataset In Self-Supervised Models for Low-Resource ASR Task2023

    • 著者名/発表者名
      Titalim Benita Angela
    • 学会等名
      IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Speech Recognition and Meaning Interpretation: Towards Disambiguation of Structurally Ambiguous Spoken Utterances in Indonesian2023

    • 著者名/発表者名
      Widiaputri Ruhiyah
    • 学会等名
      the Conference on Empirical Methods in Natural Language Processing (EMNLP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Generating Speech with Prosodic Prominence based on SSL-Visually Grounded Models2023

    • 著者名/発表者名
      Ika Hartanti Bella Septina、Sakti Sakriani
    • 学会等名
      the Oriental COCOSDA
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Exploring Difficulties Encountered by Professional Interpreters in Japanese-to-English and English-to-Japanese Simultaneous Translation2023

    • 著者名/発表者名
      Xi Hang、Sakti Sakriani
    • 学会等名
      the Oriental COCOSDA
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] STEN-TTS: Improving Zero-shot Cross-Lingual Transfer for Multi-Lingual TTS with Style-Enhanced Normalization Diffusion Framework2023

    • 著者名/発表者名
      Tran Chung, Sakti Sakriani
    • 学会等名
      INTERSPEECH
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Unsupervised Learning of Discrete Latent Representations with Data-Adaptive Dimensionality from Continuous Speech Streams2023

    • 著者名/発表者名
      Takahashi Shun、Sakti Sakriani
    • 学会等名
      INTERSPEECH
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Low-Resource Japanese-English Speech-to-Text Translation Leveraging Speech-Text Unified-model Representation Learning2023

    • 著者名/発表者名
      Tran Tu Dinh、Sakti Sakriani
    • 学会等名
      the INTERSPEECH Satellite Workshop - the ELRA/ISCA Special Interest Group on Under-resourced Languages (SIGUL)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] VGSAlign: Bilingual Speech Alignment of Unpaired and Untranscribed Languages using Self-Supervised Visually Grounded Speech Models2023

    • 著者名/発表者名
      Nguyen Luan Thanh、Sakti Sakriani
    • 学会等名
      the INTERSPEECH Satellite Workshop - the ELRA/ISCA Special Interest Group on Under-resourced Languages (SIGUL)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] An Isotropy Analysis for Self-Supervised Acoustic Unit Embeddings on the Zero Resource Speech Challenge 2021 Framework2023

    • 著者名/発表者名
      Chen Jianan、Sakti Sakriani
    • 学会等名
      the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Self-Adaptive Incremental Machine Speech Chain for Lombard TTS with High-Granularity ASR Feedback in Dynamic Noise Condition2023

    • 著者名/発表者名
      Novitasari Sashi、Sakti Sakriani、Nakamura Satoshi
    • 学会等名
      the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Investigation of Cross-Lingual Mismatch in Low-resource ASR for Indonesian Ethnic Languages2023

    • 著者名/発表者名
      Benita Angela Titalim
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Maintaining Personal Styles in Multilingual TTS with STEN Approach in Diffusion Framework2023

    • 著者名/発表者名
      Tran Chung
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Non-Parallel Limited Data Emotion Voice Conversion with Variance Adapter and Non-Autoregressive Decoder2023

    • 著者名/発表者名
      Zhang Zhanhang
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Deep Sequential Generative Modeling for Unsupervised Learning of Linguistic Representations from Speech Streams2023

    • 著者名/発表者名
      Takahashi Shun
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Perceived Challenges in Simultaneous Japanese-English Translation2023

    • 著者名/発表者名
      Xi Hang
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Utilizing Self-Supervised Visually Grounded Speech Models for Aligning Unpaired and Untranscribed Bilingual Speech2023

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Generating Textual Prosody based on ASR2023

    • 著者名/発表者名
      Liu Mingxi
    • 学会等名
      the ASJ Spring Meeting
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Language Technology for All: From the indigenous community perspectives2023

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      "Data, Technologies and Benchmarks for the Spoken Languages of the World" Meeting of IEEE SLT
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] NIX-TTS: Lightweight and End-to-End Text-to-Speech Via Module-Wise Distillation2023

    • 著者名/発表者名
      Chevi Rendi、Prasojo Radityo Eko、Aji Alham Fikri、Tjandra Andros、Sakti Sakriani
    • 学会等名
      IEEE Spoken Language Technology Workshop (SLT) 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Cyclic Partially-aligned Transformer for Visually Connected Speech-to-text Mapping2023

    • 著者名/発表者名
      Effendi Johanes、Sakti Sakriani、Nakamura Satoshi
    • 学会等名
      Acoustical Society of Japan (ASJ)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Language Technology for All: From the technology and indigenous community perspectives2022

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      the 25th Conference of the Oriental COCOSDA
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Semi-supervised Learning for Low-resource Multilingual and Multimodal Speech Processing with Machine Speech Chain2022

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      "Data Collection, Bias, and Ethical Concerns in Speech Processing," Speech for Social Good - INTERSPEECH Satellite Workshop
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Semi-supervised Learning for Low-resource Multilingual and Multimodal Speech Processing with Machine Speech Chain2022

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      HiTZ Language Technology Webinar
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Data Collection, Bias, and Ethical Concerns in Speech Processing2022

    • 著者名/発表者名
      Sakti Sakriani
    • 学会等名
      Speech for Social Good - INTERSPEECH Satellite Workshop
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing2022

    • 著者名/発表者名
      Qi Heli、Novitasari Sashi、Sakti Sakriani、Nakamura Satoshi
    • 学会等名
      INTERSPEECH 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] NAIST Simultaneous Speech-to-Text Translation System for IWSLT 20222022

    • 著者名/発表者名
      Fukuda Ryo、Ko Yuka、Kano Yasumasa、Doi Kosuke、Tokuyama Hirotaka、Sakti Sakriani、Sudoh Katsuhito、Nakamura Satoshi
    • 学会等名
      International Conference on Spoken Language Translation (IWSLT)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Self-Adaptive Machine Speech Chain in Noisy Environment2022

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      the AAAI workshop on Self-supervised Learning for Audio and Speech Processing
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Using Local Phrase Dependency Structure Information in Neural Sequence-to-Sequence Speech Synthesis2021

    • 著者名/発表者名
      Nobuyoshi Kaiki, Sakriani Sakti, Satoshi Nakamura
    • 学会等名
      Oriental COCOSDA 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Transcribing Paralinguistic Acoustic Cues to Target Language Text in Transformer-Based Speech-to-Text Translation2021

    • 著者名/発表者名
      Hirotaka Tokuyama, Sakriani Sakti, Katsuhito Sudoh, Satoshi Nakamura
    • 学会等名
      INTERSPEECH 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Weakly-Supervised Speech-to-Text Mapping with Visually Connected Non-Parallel Speech-Text Data Using Cyclic Partially-Aligned Transformer2021

    • 著者名/発表者名
      Johanes Effendi, Sakriani Sakti, Satoshi Nakamura
    • 学会等名
      INTERSPEECH 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Unsupervised Neural-Based Graph Clustering for Variable-Length Speech Representation Discovery of Zero-Resource Languages2021

    • 著者名/発表者名
      Shun Takahashi, Sakriani Sakti, Satoshi Nakamura
    • 学会等名
      INTERSPEECH 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Dynamically Adaptive Machine Speech Chain Inference for TTS in Noisy Environment: Listen and Speak Louder2021

    • 著者名/発表者名
      Sashi Novitasari, Sakriani Sakti, Satoshi Nakamura
    • 学会等名
      INTERSPEECH 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Improving Intelligibility of Synthesized Speech in Noisy Condition with Dynamically Adaptive Machine Speech Chain2021

    • 著者名/発表者名
      Sashi Novitasari, Sakriani Sakti, Satoshi Nakamura
    • 学会等名
      SIG-SLP 2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] ゼロ資源状況におけるサブワード単位の獲得にむけて グラフニューラルネットワークを用いた手法2021

    • 著者名/発表者名
      高橋 舜, サクティ サクリアニ, 中村 哲
    • 学会等名
      2021年度 人工知能学会全国大会 (第35回)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 局所的な句構造の情報を用いた ニューラル音声合成2021

    • 著者名/発表者名
      海木 延佳, サクティ サクリアニ, 中村 哲
    • 学会等名
      音学シンポジウム2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Machine Speech Chain: A Deep Learning Approach for Training and Inference through Feedback Loop2021

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Machine Speech Chain: A Deep Learning Approach for Modeling Human Speech Perception and Production with Auditory Feedback Mechanism2021

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      the ITB Seminar
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Listening while Speaking and Visualizing: A Semi-supervised Approach with Multimodal Machine Speech Chain2021

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      the SoCS International Seminar
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Listening while Speaking and Visualizing: A Semi-supervised Approach with Multimodal Machine Speech Chain2021

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      International Conference of Artificial Intelligence and Speech Technology (AIST-3)
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Listening while Speaking and Visualizing: A Semi-supervised Approach with Multimodal Machine Speech Chain2021

    • 著者名/発表者名
      Sakriani Sakti
    • 学会等名
      YRRSDS
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi