• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

対話ロボットにおける個人性を考慮した社会的表出の研究開発

公募研究

研究領域人間機械共生社会を目指した対話知能システム学
研究課題/領域番号 22H04875
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関株式会社国際電気通信基礎技術研究所

研究代表者

石井 カルロス寿憲  株式会社国際電気通信基礎技術研究所, 石黒浩特別研究所, グループリーダー (30418529)

研究期間 (年度) 2022-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
21,840千円 (直接経費: 16,800千円、間接経費: 5,040千円)
2023年度: 10,920千円 (直接経費: 8,400千円、間接経費: 2,520千円)
2022年度: 10,920千円 (直接経費: 8,400千円、間接経費: 2,520千円)
キーワード音声情報処理 / 非言語情報処理 / パラ言語情報処理 / 人ロボットインタラクション / 音環境知能
研究開始時の研究の概要

本研究では、研究提案者の研究チームがこれまで培ってきた知見の利活用・発展により、対話相手や状況に応じて人はどのように表出を変えるのか、また個人性によってこの表出をどのように変えるのかをも表現できる社会的表出の数理モデルを構築し、それをロボットやエージェントとのインタラクションに実装する。
この研究により、人はロボットやエージェントとより自然に関われるようになり、ロボットやエージェントの利用範囲が格段に広がることが期待される。

研究実績の概要

本研究では、発話に伴う、人間らしい自然な話し方と動作を持つ対話ロボット・エージェントの実現を目的とし、特に、対話相手や状況に応じて人はどのように表出を変えるのかを個人性も考慮したうえで表現できる「社会的表出」の数理モデルを明らかにし、それをロボットやエージェントとのインタラクションに実装することを目指して、多方面から研究開発を進めた。
対話ロボットが複数人と対話する場合の視線制御においては、対話役割と視線逸らしを考慮した手法を提案し、小型ロボットCommUおよびアンドロイドNIKOLAに視線動作を実装し、被験者実験による印象評定を行った。性格が異なる2名のモデルで生成した動作は、同じ声でも動きの違いにより、異なる外向性の印象を与えることが示された。
深層生成モデルによる上半身や手振りジェスチャ生成においては、入力音声から抽出される韻律特徴を条件とした手振りジェスチャを生成する深層学習モデルを学習し、手振りの動きを3段階に分けてモデルの入力の条件として付加することにより、生成された動きの印象を明示的に制御できるような枠組みを提案した。CGアバターおよび小型ロボットCommUにおいて生成された動作の印象を評価した結果、外向性の印象および興奮度合いの印象と相関した動作が生成できることが示された。
自然会話に出現する自発的な「楽しい笑い」と社会的な「愛想笑い」の音声特徴の分析も進めた。楽しい笑いには話者間で共通したパターンが観測された一方、愛想笑いには、強い気息音を含む、気息音を全く含まない、鼻音を含むなど、話者によって表出のバリエーションが多い傾向がみられた。笑いスタイルの個人差についても解析を進めた。
その他、マルチモーダル意図認識の研究も進めたが、これまでの研究成果を踏まえ、エージェントの社会的表出の実現に向けて、今後も取り組んでいく。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (30件)

すべて 2024 2023 2022

すべて 雑誌論文 (14件) (うち国際共著 7件、 査読あり 14件、 オープンアクセス 6件) 学会発表 (16件) (うち国際学会 12件、 招待講演 5件)

  • [雑誌論文] 複数人対話における視線動作の解析および対話ロボットの視線動作生成による個性の表出2024

    • 著者名/発表者名
      新谷太健, 石井カルロス寿憲, 石黒浩
    • 雑誌名

      日本ロボット学会誌

      巻: 42 ページ: 151-158

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Extrovert or Introvert? GAN-Based Humanoid Upper-Body Gesture Generation for Different Impressions2023

    • 著者名/発表者名
      Wu Bowen、Liu Chaoran、Ishi Carlos Toshinori、Shi Jiaqi、Ishiguro Hiroshi
    • 雑誌名

      International Journal of Social Robotics

      巻: - 号: 3 ページ: 1-16

    • DOI

      10.1007/s12369-023-01051-8

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] QUICKVC: A Lightweight VITS-Based Any-to-Many Voice Conversion Model using ISTFT for Faster Conversion2023

    • 著者名/発表者名
      Guo Houjian、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 雑誌名

      Proc. ASRU2023

      巻: - ページ: 1-5

    • DOI

      10.1109/asru57964.2023.10389621

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Using Joint Training Speaker Encoder With Consistency Loss to Achieve Cross-Lingual Voice Conversion and Expressive Voice Conversion2023

    • 著者名/発表者名
      Guo Houjian、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 雑誌名

      Proc. ASRU2023

      巻: - ページ: 1-5

    • DOI

      10.1109/asru57964.2023.10389651

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Recognizing Real-World Intentions using A Multimodal Deep Learning Approach with Spatial-Temporal Graph Convolutional Networks2023

    • 著者名/発表者名
      Shi Jiaqi、Liu Chaoran、Ishi Carlos Toshinori、Wu Bowen、Ishiguro Hiroshi
    • 雑誌名

      Proc. IROS2023

      巻: - ページ: 3819-3826

    • DOI

      10.1109/iros55552.2023.10341981

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Voice types and voice quality in Japanese anime2023

    • 著者名/発表者名
      Carlos T. Ishi, Akira Utsugi, Ichiro Ota
    • 雑誌名

      Proc. ICPhS2023

      巻: - ページ: 3632-3636

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Laughter patterns in multi-speaker conversation data: comparison between spontaneous laughter and intentional laughter2023

    • 著者名/発表者名
      Kexin Wang, Carlos Ishi, Ryoko Hayashi
    • 雑誌名

      Proc. ICPhS2023

      巻: - ページ: 1771-1775

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] An attention-based sound selective hearing support system: evaluation by subjects with age-related hearing loss2023

    • 著者名/発表者名
      Ishi Carlos T.、Liu Chaoran、Minato Takashi
    • 雑誌名

      Proc. SII2023

      巻: - ページ: 1-6

    • DOI

      10.1109/sii55687.2023.10039165

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] An improved CycleGAN-based emotional voice conversion model by augmenting temporal dependency with a transformer2022

    • 著者名/発表者名
      Fu Changzeng、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 雑誌名

      Speech Communication

      巻: 144 ページ: 110-121

    • DOI

      10.1016/j.specom.2022.09.002

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] An Adversarial Training Based Speech Emotion Classifier with Isolated Gaussian Regularization2022

    • 著者名/発表者名
      Fu Changzeng、Liu Chaoran、Ishi Carlos、Ishiguro Hiroshi
    • 雑誌名

      IEEE Transactions on Affective Computing

      巻: - 号: 3 ページ: 1-1

    • DOI

      10.1109/taffc.2022.3169091

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] C-CycleTransGAN: A Non-parallel Controllable Cross-gender Voice Conversion Model with CycleGAN and Transformer2022

    • 著者名/発表者名
      Fu Changzeng、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 雑誌名

      Proc. APSIPA 2022

      巻: - ページ: 1-7

    • DOI

      10.23919/apsipaasc55919.2022.9979821

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Controlling the Impression of Robots via GAN-based Gesture Generation2022

    • 著者名/発表者名
      Wu Bowen、Shi Jiaqi、Liu Chaoran、Ishi Carlos T.、Ishiguro Hiroshi
    • 雑誌名

      Proc. IROS22

      巻: - ページ: 9288-9295

    • DOI

      10.1109/iros47612.2022.9981535

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Expression of Personality by Gaze Movements of an Android Robot in Multi-Party Dialogues2022

    • 著者名/発表者名
      Shintani Taiken、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 雑誌名

      Proc. RO-MAN22

      巻: - ページ: 1534-1541

    • DOI

      10.1109/ro-man53752.2022.9900812

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Prosodic and Voice Quality Analyses of Filled Pauses in Japanese Spontaneous Conversation by Chinese learners and Japanese Native Speakers2022

    • 著者名/発表者名
      Li Xinyue、Ishi Carlos Toshinori、Fu Changzeng、Hayashi Ryoko
    • 雑誌名

      Proc. Speech Prosody 2022

      巻: - ページ: 550-554

    • DOI

      10.21437/speechprosody.2022-112

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] QUICKVC: A Lightweight VITS-Based Any-to-Many Voice Conversion Model using ISTFT for Faster Conversion2023

    • 著者名/発表者名
      Guo Houjian、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 学会等名
      ASRU2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Using Joint Training Speaker Encoder With Consistency Loss to Achieve Cross-Lingual Voice Conversion and Expressive Voice Conversion2023

    • 著者名/発表者名
      Guo Houjian、Liu Chaoran、Ishi Carlos Toshinori、Ishiguro Hiroshi
    • 学会等名
      ASRU2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Recognizing Real-World Intentions using A Multimodal Deep Learning Approach with Spatial-Temporal Graph Convolutional Networks2023

    • 著者名/発表者名
      Shi Jiaqi、Liu Chaoran、Ishi Carlos Toshinori、Wu Bowen、Ishiguro Hiroshi
    • 学会等名
      IROS2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Voice types and voice quality in Japanese anime2023

    • 著者名/発表者名
      Carlos T. Ishi, Akira Utsugi, Ichiro Ota
    • 学会等名
      ICPhS2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Laughter patterns in multi-speaker conversation data: comparison between spontaneous laughter and intentional laughter2023

    • 著者名/発表者名
      Kexin Wang, Carlos Ishi, Ryoko Hayashi
    • 学会等名
      ICPhS2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Multimodal speech processing for dialogue robots and applications of sound environment intelligence2023

    • 著者名/発表者名
      Carlos T. Ishi
    • 学会等名
      RO-MAN 2023 - Workshop on Speech-based communication for robots and systems
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] マルチモーダル音声情報処理と対話ロボットへの応用2023

    • 著者名/発表者名
      石井カルロス寿憲
    • 学会等名
      富山県立大学 特別講義
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] An attention-based sound selective hearing support system: evaluation by subjects with age-related hearing loss2023

    • 著者名/発表者名
      C.T. Ishi, C. Liu, T. Minato
    • 学会等名
      2023 IEEE/SICE International Symposium on System Integration (SII)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] マルチモーダル音声情報処理と対話ロボットへの応用2023

    • 著者名/発表者名
      石井カルロス寿憲
    • 学会等名
      富山県立大学 特別講義I
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] C-CycleTransGAN: A Non-Parallel Controllable Cross-Gender Voice Conversion Model With CycleGAN and Transformer2022

    • 著者名/発表者名
      C. Fu, C. Liu, C. T. Ishi, H. Ishiguro
    • 学会等名
      2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Controlling the Impression of Robots via GAN-based Gesture Generation2022

    • 著者名/発表者名
      B. Wu, J. Shi, C. Liu, C.T. Ishi, H. Ishiguro
    • 学会等名
      2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Expression of Personality by Gaze Movements of an Android Robot in Multi-Party Dialogues2022

    • 著者名/発表者名
      T. Shintani, C.T. Ishi, H. Ishiguro
    • 学会等名
      2022 31st IEEE International Conference on Robot and Human Interactive Communication (RO-MAN)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Prosodic and Voice Quality Analyses of Filled Pauses in Japanese Spontaneous Conversation by Chinese learners and Japanese Native Speakers2022

    • 著者名/発表者名
      X. Li, C.T. Ishi, C. Fu, R. Hayashi
    • 学会等名
      Speech Prosody 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Analysis and generation of speech-related motions, and evaluation in humanoid robots2022

    • 著者名/発表者名
      C.T. Ishi
    • 学会等名
      ICMI GENEA (Generation and Evaluation of Non-verbal Behaviour for Embodied Agents) Workshop 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 声質の科学:音響特徴、EGG特性およびパラ言語的機能2022

    • 著者名/発表者名
      石井カルロス寿憲
    • 学会等名
      日本音響学会 音声研究会 (ASJ-SP)
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 自由会話における「楽しい笑い」と「愛想笑い」の音声的特徴ー予備的分析2022

    • 著者名/発表者名
      王可心、石井カルロス寿憲、林良子
    • 学会等名
      日本音響学会第25回関西支部若手研究者交流研究発表会
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi