• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

会話基盤更新プロセスの可視化と異文化コミュニケーション学習支援での検証

研究課題

研究課題/領域番号 19H01120
研究機関福知山公立大学

研究代表者

西田 豊明  福知山公立大学, 情報学部, 教授 (70135531)

研究分担者 岡田 将吾  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
黄 宏軒  福知山公立大学, 情報学部, 教授 (00572950)
Mirzaei Maryam  国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (10810509)
中野 有紀子  成蹊大学, 理工学部, 教授 (40422505)
Peterson Mark  京都大学, 人間・環境学研究科, 准教授 (90361732)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード会話情報学 / 会話基盤 / コミュニケーション / 機械学習 / 異文化学習
研究実績の概要

協調的なコンテンツオーサリングに関して,コンテンツ作成と探索的ロールプレイの2段階の方法論を提案した.
アテンション機構のついたGRUネットワークにより応答発話に随伴する顔表情を特徴づけるために有効なAUを予測した.グラフ構造を持つ大規模知識Freebaseに基づき,話題を選択し,質問を生成する手法を提案し,被験者の主観評価において,話題の多様性や文脈の継続性が印象づけられることを実験的に示した.マルチモーダル訓練・テストデータの分布の比を計算するアプローチで,訓練サンプルに重みづけを行う,重要度重みづけアルゴリズムによるマルチモーダルデータの学習方法を提案・評価した.
参加者が複数の対話タスクに参加したコーパスで,対話タスクが変わる際,同じ対話参加者のマルチモーダル情報やふるまいが変化することを示した.図像的ジェスチャにおける形状の決定手法とアバタージェスチャにより性格特性を表現する手法を提案した.ジェスチャタイプの決定,形状の決定,性格特性の付与を一連の処理により行うパイプラインアーキテクチャのシステムを構築した.時空間的に条件付けられたAnimGANを提案し,セマンティクスと時空間ダイナミクスの点で参照シーケンスに類似した一連のアクションを生成する方式を考案した.
中国語母語話者と日本語母語話者からなる人数不均衡なグループによる日本語での目的指向の討論のデータコーパスの分析を行い.非母国語による異文化コミュニケーション環境と,母国語による同一文化コミュニケーション環境における,異なる外国語習熟レベルを持つ同一人物の会話行動を対照し,興味深い知見を得た.
iSCTを拡張して,状況ベースの異文化学習システムをつくり,予備実験を行った.コンピューター支援言語学習(CALL)でのデジタルゲームの使用に関する調査を行った.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

言語・非言語コミュニケーションを統合した会話行動を学習的に生成する手法を中心に大きな成果があり,本研究参加者がFIT論文賞を受賞した.他方,研究分担者の家族が急病のため,分担者が2020年10月からほとんど研究に従事できなくなったために,システムの評価実験は予備的なものにとどまり,本格的なレベルまで実施できなかった.

今後の研究の推進方策

2020年10月からほとんど研究に従事できなくなった研究分担者の状況がいくぶん回復したので,前年度に取り組めなかった課題も含めて,これまで成果のあがっている言語・非言語コミュニケーションを統合した会話行動の学習的生成手法を発展させ,会話エンビジョニングが効果的に進められるよう研究を推進する.

  • 研究成果

    (18件)

すべて 2021 2020

すべて 雑誌論文 (4件) (うち査読あり 4件) 学会発表 (14件) (うち国際学会 8件、 招待講演 1件)

  • [雑誌論文] Predicting multimodal presentation skills based on instance weighting domain adaptation2021

    • 著者名/発表者名
      Yagi Yutaro、Okada Shogo、Shiobara Shota、Sugimura Sota
    • 雑誌名

      Journal on Multimodal User Interfaces

      巻: -- ページ: --

    • DOI

      10.1007/s12193-021-00367-x

    • 査読あり
  • [雑誌論文] マルチタスク学習による発話対ごとに付与された複数ラベルの推定2021

    • 著者名/発表者名
      平野 裕貴、岡田 将吾、西本 遥人、駒谷 和範
    • 雑誌名

      電子情報通信学会論文誌A 基礎・境界

      巻: J104-A ページ: 84~94

    • DOI

      10.14923/transfunj.2020HAP0012

    • 査読あり
  • [雑誌論文] マルチモーダル情報に基づく重要発言推定モデルを搭載した議論要約ブラウザの有効性の検証2020

    • 著者名/発表者名
      二瓶 芙巳雄、中野 有紀子
    • 雑誌名

      ヒューマンインタフェース学会論文誌

      巻: 22 ページ: 137~150

    • DOI

      10.11184/his.22.2_137

    • 査読あり
  • [雑誌論文] Generation of Head Movements of a Robot Using Multimodal Features of Peer Participants in Group Discussion Conversation2020

    • 著者名/発表者名
      Huang Hung-Hsuan、Kimura Seiya、Kuwabara Kazuhiro、Nishida Toyoaki
    • 雑誌名

      Multimodal Technologies and Interaction

      巻: 4 ページ: 15~15

    • DOI

      10.3390/mti4020015

    • 査読あり
  • [学会発表] Animgan: A Spatiotemporally-Conditioned Generative Adversarial Network For Character Animation2021

    • 著者名/発表者名
      Mirzaei Maryam Sadat、Meshgi Kourosh、Frigo Etienne、Nishida Toyoaki
    • 学会等名
      IEEE International Conference on Image Processing (ICIP)
    • 国際学会
  • [学会発表] A situation creation system to enable experiential learning in virtual worlds for developing cross-cultural competencies2020

    • 著者名/発表者名
      Mirzaei, M. S., Meshgi, K., & Nishida, T.
    • 学会等名
      EUROCALL 2020
    • 国際学会
  • [学会発表] Impact of Personality on Nonverbal Behavior Generation2020

    • 著者名/発表者名
      Ryosuke Ueno, Yukiko I. Nakano, Jie Zeng, and Fumio Nihei
    • 学会等名
      the 20th ACM International Conference on Intelligent Virtual Agents (IVA '20)
    • 国際学会
  • [学会発表] Style transfer for co-speech gesture animation: A multi-speaker conditional mixture approach2020

    • 著者名/発表者名
      C. Ahuja, D. W. Lee, Y. I. Nakano, and L.-P. Morency
    • 学会等名
      ECCV
    • 国際学会
  • [学会発表] Investigation on the Fusion of Multi-modal and Multi-person Features in RNNs for Detecting the Functional Roles of Group Discussion Participants2020

    • 著者名/発表者名
      Hung-Hsuan Huang and Toyoaki Nishida
    • 学会等名
      12th International Conference on Social Computing and Social Media
    • 国際学会
  • [学会発表] ConSK-GCN: Conversational Semantic- and Knowledge-guided Graph Convolutional Network for Multimodal Emotion Recognition2020

    • 著者名/発表者名
      Yahui Fu, Shogo Okada, Longbiao Wang, Lili Guo, Yaodong Song, Jiaxing Liu and Jianwu Dang
    • 学会等名
      IEEE International Conference on Multimedia and Expo (ICME) 2021
    • 国際学会
  • [学会発表] Personality Trait Classification Based on Co-occurrence Pattern Modeling with Convolutional Neural Network2020

    • 著者名/発表者名
      Ryo Kimura, Shogo Okada
    • 学会等名
      HCI
    • 国際学会
  • [学会発表] Is She Truly Enjoying the Conversation?: Analysis of Physiological Signals toward Adaptive Dialogue Systems2020

    • 著者名/発表者名
      Shun Katada, Shogo Okada, Yuki Hirano, Kazunori Komatani
    • 学会等名
      ICMI 2020
    • 国際学会
  • [学会発表] 対象物のイメージに基づく図像的ジェスチャの形状推定2020

    • 著者名/発表者名
      二瓶 芙巳雄,中野 有紀子,東中 竜一郎,石井 亮
    • 学会等名
      第19回情報科学技術フォーラム (FIT2020)
  • [学会発表] 知識と話題の埋め込みに基づく質問生成機能を有する料理嗜好インタビューシステムの評価2020

    • 著者名/発表者名
      曽 傑,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)
  • [学会発表] マルチモーダル情報に基づく学習者のエンゲージメント推定2020

    • 著者名/発表者名
      内山 和也,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)
  • [学会発表] マルチモーダル情報に基づく重要発言推定モデルを搭載したマルチモーダル議論要約ブラウザの評価2020

    • 著者名/発表者名
      二瓶 芙巳雄,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)
  • [学会発表] マルチモーダル情報に基づく応答と表情の自動生成2020

    • 著者名/発表者名
      上野 諒祐,曽 傑,中野 有紀子
    • 学会等名
      2020年度人工知能学会全国大会(第34回)
  • [学会発表] Digital Games and Computer Assisted Language Learning: Past, Present and Future2020

    • 著者名/発表者名
      Mark Peterson
    • 学会等名
      2020 IEEE Conference on Games
    • 招待講演

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi