• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Envisioning Common Ground Update in Conversations and Evaluating its Effectiveness in Cross-Cultural Training

Research Project

Project/Area Number 19H01120
Research InstitutionThe University of Fukuchiyama

Principal Investigator

西田 豊明  福知山公立大学, 情報学部, 教授 (70135531)

Co-Investigator(Kenkyū-buntansha) 岡田 将吾  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
黄 宏軒  福知山公立大学, 情報学部, 教授 (00572950)
Mirzaei Maryam  国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (10810509)
中野 有紀子  成蹊大学, 理工学部, 教授 (40422505)
Peterson Mark  京都大学, 人間・環境学研究科, 准教授 (90361732)
Project Period (FY) 2019-04-01 – 2022-03-31
Keywords会話情報学 / 会話基盤 / コミュニケーション / 機械学習 / 異文化学習
Outline of Annual Research Achievements

協調的なコンテンツオーサリングに関して,コンテンツ作成と探索的ロールプレイの2段階の方法論を提案した.
アテンション機構のついたGRUネットワークにより応答発話に随伴する顔表情を特徴づけるために有効なAUを予測した.グラフ構造を持つ大規模知識Freebaseに基づき,話題を選択し,質問を生成する手法を提案し,被験者の主観評価において,話題の多様性や文脈の継続性が印象づけられることを実験的に示した.マルチモーダル訓練・テストデータの分布の比を計算するアプローチで,訓練サンプルに重みづけを行う,重要度重みづけアルゴリズムによるマルチモーダルデータの学習方法を提案・評価した.
参加者が複数の対話タスクに参加したコーパスで,対話タスクが変わる際,同じ対話参加者のマルチモーダル情報やふるまいが変化することを示した.図像的ジェスチャにおける形状の決定手法とアバタージェスチャにより性格特性を表現する手法を提案した.ジェスチャタイプの決定,形状の決定,性格特性の付与を一連の処理により行うパイプラインアーキテクチャのシステムを構築した.時空間的に条件付けられたAnimGANを提案し,セマンティクスと時空間ダイナミクスの点で参照シーケンスに類似した一連のアクションを生成する方式を考案した.
中国語母語話者と日本語母語話者からなる人数不均衡なグループによる日本語での目的指向の討論のデータコーパスの分析を行い.非母国語による異文化コミュニケーション環境と,母国語による同一文化コミュニケーション環境における,異なる外国語習熟レベルを持つ同一人物の会話行動を対照し,興味深い知見を得た.
iSCTを拡張して,状況ベースの異文化学習システムをつくり,予備実験を行った.コンピューター支援言語学習(CALL)でのデジタルゲームの使用に関する調査を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

言語・非言語コミュニケーションを統合した会話行動を学習的に生成する手法を中心に大きな成果があり,本研究参加者がFIT論文賞を受賞した.他方,研究分担者の家族が急病のため,分担者が2020年10月からほとんど研究に従事できなくなったために,システムの評価実験は予備的なものにとどまり,本格的なレベルまで実施できなかった.

Strategy for Future Research Activity

2020年10月からほとんど研究に従事できなくなった研究分担者の状況がいくぶん回復したので,前年度に取り組めなかった課題も含めて,これまで成果のあがっている言語・非言語コミュニケーションを統合した会話行動の学習的生成手法を発展させ,会話エンビジョニングが効果的に進められるよう研究を推進する.

  • Research Products

    (18 results)

All 2021 2020

All Journal Article (4 results) (of which Peer Reviewed: 4 results) Presentation (14 results) (of which Int'l Joint Research: 8 results,  Invited: 1 results)

  • [Journal Article] Predicting multimodal presentation skills based on instance weighting domain adaptation2021

    • Author(s)
      Yagi Yutaro、Okada Shogo、Shiobara Shota、Sugimura Sota
    • Journal Title

      Journal on Multimodal User Interfaces

      Volume: -- Pages: --

    • DOI

      10.1007/s12193-021-00367-x

    • Peer Reviewed
  • [Journal Article] マルチタスク学習による発話対ごとに付与された複数ラベルの推定2021

    • Author(s)
      平野 裕貴、岡田 将吾、西本 遥人、駒谷 和範
    • Journal Title

      電子情報通信学会論文誌A 基礎・境界

      Volume: J104-A Pages: 84~94

    • DOI

      10.14923/transfunj.2020HAP0012

    • Peer Reviewed
  • [Journal Article] マルチモーダル情報に基づく重要発言推定モデルを搭載した議論要約ブラウザの有効性の検証2020

    • Author(s)
      二瓶 芙巳雄、中野 有紀子
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: 22 Pages: 137~150

    • DOI

      10.11184/his.22.2_137

    • Peer Reviewed
  • [Journal Article] Generation of Head Movements of a Robot Using Multimodal Features of Peer Participants in Group Discussion Conversation2020

    • Author(s)
      Huang Hung-Hsuan、Kimura Seiya、Kuwabara Kazuhiro、Nishida Toyoaki
    • Journal Title

      Multimodal Technologies and Interaction

      Volume: 4 Pages: 15~15

    • DOI

      10.3390/mti4020015

    • Peer Reviewed
  • [Presentation] Animgan: A Spatiotemporally-Conditioned Generative Adversarial Network For Character Animation2021

    • Author(s)
      Mirzaei Maryam Sadat、Meshgi Kourosh、Frigo Etienne、Nishida Toyoaki
    • Organizer
      IEEE International Conference on Image Processing (ICIP)
    • Int'l Joint Research
  • [Presentation] A situation creation system to enable experiential learning in virtual worlds for developing cross-cultural competencies2020

    • Author(s)
      Mirzaei, M. S., Meshgi, K., & Nishida, T.
    • Organizer
      EUROCALL 2020
    • Int'l Joint Research
  • [Presentation] Impact of Personality on Nonverbal Behavior Generation2020

    • Author(s)
      Ryosuke Ueno, Yukiko I. Nakano, Jie Zeng, and Fumio Nihei
    • Organizer
      the 20th ACM International Conference on Intelligent Virtual Agents (IVA '20)
    • Int'l Joint Research
  • [Presentation] Style transfer for co-speech gesture animation: A multi-speaker conditional mixture approach2020

    • Author(s)
      C. Ahuja, D. W. Lee, Y. I. Nakano, and L.-P. Morency
    • Organizer
      ECCV
    • Int'l Joint Research
  • [Presentation] Investigation on the Fusion of Multi-modal and Multi-person Features in RNNs for Detecting the Functional Roles of Group Discussion Participants2020

    • Author(s)
      Hung-Hsuan Huang and Toyoaki Nishida
    • Organizer
      12th International Conference on Social Computing and Social Media
    • Int'l Joint Research
  • [Presentation] ConSK-GCN: Conversational Semantic- and Knowledge-guided Graph Convolutional Network for Multimodal Emotion Recognition2020

    • Author(s)
      Yahui Fu, Shogo Okada, Longbiao Wang, Lili Guo, Yaodong Song, Jiaxing Liu and Jianwu Dang
    • Organizer
      IEEE International Conference on Multimedia and Expo (ICME) 2021
    • Int'l Joint Research
  • [Presentation] Personality Trait Classification Based on Co-occurrence Pattern Modeling with Convolutional Neural Network2020

    • Author(s)
      Ryo Kimura, Shogo Okada
    • Organizer
      HCI
    • Int'l Joint Research
  • [Presentation] Is She Truly Enjoying the Conversation?: Analysis of Physiological Signals toward Adaptive Dialogue Systems2020

    • Author(s)
      Shun Katada, Shogo Okada, Yuki Hirano, Kazunori Komatani
    • Organizer
      ICMI 2020
    • Int'l Joint Research
  • [Presentation] 対象物のイメージに基づく図像的ジェスチャの形状推定2020

    • Author(s)
      二瓶 芙巳雄,中野 有紀子,東中 竜一郎,石井 亮
    • Organizer
      第19回情報科学技術フォーラム (FIT2020)
  • [Presentation] 知識と話題の埋め込みに基づく質問生成機能を有する料理嗜好インタビューシステムの評価2020

    • Author(s)
      曽 傑,中野 有紀子
    • Organizer
      2020年度人工知能学会全国大会(第34回)
  • [Presentation] マルチモーダル情報に基づく学習者のエンゲージメント推定2020

    • Author(s)
      内山 和也,中野 有紀子
    • Organizer
      2020年度人工知能学会全国大会(第34回)
  • [Presentation] マルチモーダル情報に基づく重要発言推定モデルを搭載したマルチモーダル議論要約ブラウザの評価2020

    • Author(s)
      二瓶 芙巳雄,中野 有紀子
    • Organizer
      2020年度人工知能学会全国大会(第34回)
  • [Presentation] マルチモーダル情報に基づく応答と表情の自動生成2020

    • Author(s)
      上野 諒祐,曽 傑,中野 有紀子
    • Organizer
      2020年度人工知能学会全国大会(第34回)
  • [Presentation] Digital Games and Computer Assisted Language Learning: Past, Present and Future2020

    • Author(s)
      Mark Peterson
    • Organizer
      2020 IEEE Conference on Games
    • Invited

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi