• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Learning conversation agents for long-vision response generation in multi-round communications

研究課題

研究課題/領域番号 19K20345
研究種目

若手研究

配分区分基金
審査区分 小区分61030:知能情報学関連
研究機関徳島大学

研究代表者

康 シン  徳島大学, 大学院社会産業理工学研究部(理工学域), 助教 (80777350)

研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2019年度: 2,080千円 (直接経費: 1,600千円、間接経費: 480千円)
キーワード対話生成 / 対話完成程度 / 対話完成効率 / 対話ユーザー満足度 / long-vision conversation / dialogue topic tagging / neuro-symbolic AI / DialogQuality Evaluation / response generation / language ability / self-concept identifying / strategic conversation
研究開始時の研究の概要

The purpose of this research plan is to learn conversation agents from scratch for generating long-vision responses. Three strategic communication games will be designed to provide an evolving environment for the conversation agents to progressively learn the conversation abilities through deep reinforcement learning. Specifically, the conversation agents will learn the language ability through Game I, the self-concept identification ability though Game II, and the strategic conversation ability through Game III, to finally make sequential decisions reasonably in a multi-round communication.

研究成果の概要

対話システムは自然言語に基づく知能ヒューマンマシンインターフェイス分野研究であり,現在スマート製品や自動運転等の知能サービスに活用されている.従来の対話システムは発話理解,対話状態更新,発話選択と発話生成4つの独立なモジュールで構築され,モジュール間に学習誤差の伝播が難しいし,予測誤差がモジュールごとに増やされてしまい,システム改善は困難である.本研究はエンドツーエンド深層学習に基づく,話題知識主導のマルチターン対話システム技術を目標として,対話文から話題知識抽出,対話文品質評価と敵対的生成学習を用いた高品質文生成手法を提案し,知識に基づく医療介護現場対話システムを確立した.

研究成果の学術的意義や社会的意義

モジュール連結に基づく対話システムにより,本研究はモジュール機能をエンドツーエンド深層学習に統合して,話題知識抽出,対話分品質評価と敵対的生成学習を用いて,マルチターン対話のタスク完成程度,完成効率とユーザー満足度を向上し,対話を用いた知能ヒューマンマシンインターフェイス技術を構築する上に,スマート製品におけるユーザー体験や学習コストの改善や医療介護支援ロボット開発の推進を期待されている.

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (49件)

すべて 2022 2021 2020 2019

すべて 雑誌論文 (6件) (うち国際共著 2件、 査読あり 6件、 オープンアクセス 2件) 学会発表 (43件) (うち国際学会 32件)

  • [雑誌論文] The AI Development Through Transforming Tacit Knowledge to Explicit Knowledge of Nurses' Dialogue for Patients with Dementia2021

    • 著者名/発表者名
      Hirokazu Ito, Kazuyuki Matsumoto, Xin Kang, Tetsuya Tanioka, Yuko Yasuhara, Rozzano De Castro Locsin and Fuji Ren
    • 雑誌名

      International Journal of Advanced Intelligence (IJAI)

      巻: 12 ページ: 11-21

    • 関連する報告書
      2021 実績報告書 2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Active learning with complementary sampling for instructing class-biased multi-label text emotion classification2020

    • 著者名/発表者名
      Kang Xin、Shi Xuefeng、Wu Yunong、Ren Fuji
    • 雑誌名

      IEEE Transactions on Affective Computing

      巻: - 号: 1 ページ: 1-1

    • DOI

      10.1109/taffc.2020.3038401

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Vowel priority lip matching scheme and similarity evaluation model based on humanoid robot Ren-Xin2020

    • 著者名/発表者名
      Liu Zheng、Kang Xin、Nishide Shun、Ren Fuji
    • 雑誌名

      Journal of Ambient Intelligence and Humanized Computing

      巻: - 号: 11 ページ: 1-12

    • DOI

      10.1007/s12652-020-02175-9

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] DFF-ResNet: An insect pest recognition model based on residual networks2020

    • 著者名/発表者名
      Liu Wenjie、Wu Guoqing、Ren Fuji、Kang Xin
    • 雑誌名

      Big Data Mining and Analytics

      巻: 3 号: 4 ページ: 300-310

    • DOI

      10.26599/bdma.2020.9020021

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Surface defect detection of steel strips based on classification priority YOLOv3-dense network2020

    • 著者名/発表者名
      Zhang Jiaqiao、Kang Xin、Ni Hongjun、Ren Fuji
    • 雑誌名

      Ironmaking & Steelmaking

      巻: - 号: 5 ページ: 1-12

    • DOI

      10.1080/03019233.2020.1816806

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Toward action comprehension for searching: Mining actionable intents in query entities2019

    • 著者名/発表者名
      Kang Xin、Wu Yunong、Ren Fuji
    • 雑誌名

      Journal of the Association for Information Science and Technology

      巻: 71 号: 2 ページ: 143-157

    • DOI

      10.1002/asi.24220

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] Creating a Japanese dialogue corpus with multi-level topic analysis2022

    • 著者名/発表者名
      Yuma Komoto, Xin Kang and Fuji Ren
    • 学会等名
      2022 4th International Conference on Natural Language Processing
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Improvement of Japanese Text Emotion Analysis by Active Learning Using Transformers Language Model2022

    • 著者名/発表者名
      Tatsuya Ikegami, Xin Kang and Fuji Ren
    • 学会等名
      2022 14th International Conference on Computer Research and Development (ICCRD)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] TUA1 at the NTCIR-16 DialEval-2 Task2022

    • 著者名/発表者名
      Fei Ding, Xin Kang, Yunong Wu, Fuji Ren
    • 学会等名
      Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Prediction and Generation of Multiple Complex Drawing Figures From Partial Drawing Sequences2021

    • 著者名/発表者名
      Kubono Yusuke, Shun Nishide, Xin Kang and Fuji Ren
    • 学会等名
      2021 IEEE 13th International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control, Environment, and Management (HNICEM)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Classification of Steel Strip Surface Defects Based on Optimized ResNet182021

    • 著者名/発表者名
      Hao Zhuangzhuang, Fuji Ren, Xin Kang, Ni Hongjun, Lv Shuaishuai and Wang Hui
    • 学会等名
      2021 IEEE International Conference on Agents (ICA)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] TUA1 at the NTCIR-15 DialEval-1 Task2020

    • 著者名/発表者名
      Xin Kang, Yunong Wu and Fuji Ren
    • 学会等名
      Proceedings of the 15th NTCIR Conference on Evaluation of Information Access Technologies
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Gait recognition in real environment using gait energy image generated by Mask R-CNN2020

    • 著者名/発表者名
      Shota Inui, Fuji Ren, Shun Nishide and Xin Kang
    • 学会等名
      2020 IEEE International Conference on Mechatronics and Automation (ICMA)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Construction of emergency medical support system based on understanding dialect intention2020

    • 著者名/発表者名
      Kyoya Abe, Fuji Ren, Shun Nishide and Xin Kang
    • 学会等名
      The 15th International Conference on Natural Language Processing and Knowledge Engineering
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] A fusion model for multi-label emotion classification based on BERT and topic clustering2020

    • 著者名/発表者名
      Fei Ding, Xin Kang, Shun Nishide, Guan Zhijin and Fuji Ren
    • 学会等名
      In International Symposium on Artificial Intelligence and Robotics 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Speech emotion recognition based on data enhancement in time-frequency domain2020

    • 著者名/発表者名
      LI Qianqian, Fuji Ren, Shen Xiaoyan and Xin Kang
    • 学会等名
      International Symposium on Artificial Intelligence and Robotics 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Collaborative filtering recommendation algorithm based on bisecting K-means clustering2020

    • 著者名/発表者名
      Liu Jia, Xin Kang, Shun Nishide and Fuji Ren
    • 学会等名
      International Symposium on Artificial Intelligence and Robotics 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Examination to develop the artificial intelligence through transforming tacit knowledge of nurses' dialogue for patients with dementia towards explicit knowledge2020

    • 著者名/発表者名
      Hirokazu Ito, Kazuyuki Matsumoto, Xin Kang, Tetsuya Tanioka, Yuko Yasuhara, Rozzano De Castro Locsin and Fuji Ren
    • 学会等名
      The 15th International Conference on Natural Language Processing and Knowledge Engineering (NLP-KE20)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] ロボット教師における特定分野のQAシステムの構築2020

    • 著者名/発表者名
      門田 尚之, 任 福継, 西出 俊, 康 シン
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] ロボット教師における特定人物の音声の自動生成2020

    • 著者名/発表者名
      寺尾 渉吾, 任 福継, 西出 俊, 康 シン
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Tweet日本語感情コーパスに対するBERTの効果の検証2020

    • 著者名/発表者名
      池上 達也, 任 福継, 西出 俊, 康 シン
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Environment recognition using robot camera2020

    • 著者名/発表者名
      Hiroaki Sumida, Fuji Ren, Shun Nishide, and Xin Kang
    • 学会等名
      The 5th IEEE International Conference on Big Data Analytics (IEEE ICBDA 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] A Chinese-Japanese Vowel Priority Lip Matching Scheme Based on Humanoid Robot Ren-Xin2020

    • 著者名/発表者名
      Zheng Liu, Xin Kang, Shun Nishide and Fuji Ren
    • 学会等名
      The 5th International Symposium on Artificial Intelligence and Robotics 2020 (ISAIR 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] A Fusion Model for Multi-label Emotion Classification Based on BERT and Topic Clustering2020

    • 著者名/発表者名
      Fei Ding, Xin Kang, Shun Nishide, Zhijin Guan and Fuji Ren
    • 学会等名
      The 5th International Symposium on Artificial Intelligence and Robotics 2020 (ISAIR 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 神経力学モデルを用いたプリミティブの階層的学習2020

    • 著者名/発表者名
      野本 楓晟, 安田 伊慶, 西出 俊, 康 シン
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] リカレントニューラルネットワークを用いた未学習のコードからの楽譜生成2020

    • 著者名/発表者名
      真砂 光志, 西出 俊, 康 シン, 任 福継
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 深層モデルを用いた画像系列の特徴量自己組織化と映像生成2020

    • 著者名/発表者名
      川野 真子, 西出 俊, 康 シン, 任 福継
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] ペンの持ち上げを考慮した神経力学モデルによる描画図形予測と生成2020

    • 著者名/発表者名
      久保野 雄亮, 西出 俊, 康 シン, 任 福継
    • 学会等名
      情報処理学会全国大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] ロボット教師における特定分野のQAシステムの構築2020

    • 著者名/発表者名
      門田 尚之, 康 シン, 西出 俊, 任 福継
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] ロボット教師における特定人物の音声の自動生成2020

    • 著者名/発表者名
      寺尾 渉吾, 康 シン, 西出 俊, 任 福継
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 単語の感情属性を活かしたロボット教師の表情生成2020

    • 著者名/発表者名
      房登 淳平, 康 シン, 西出 俊, 任 福継
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] ロボット教師による特定分野の記述式問題の判定について2020

    • 著者名/発表者名
      山崎 直登, 康 シン, 西出 俊, 任 福継
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Research on the Effect of Different Speech Segment Lengths on Speech Emotion Recognition Based on LSTM2019

    • 著者名/発表者名
      Zheng Liu, Fuji Ren, and Xin Kang
    • 学会等名
      The 9th International Workshop on Computer Science and Engineering (WCSE 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Traffic Sign Recognition Based on Up-sampling Convolution2019

    • 著者名/発表者名
      Yitian Lu, Ping Jiang, Shun Nishide, Xin Kang, and Fuji Ren
    • 学会等名
      The 9th International Workshop on Computer Science and Engineering (WCSE 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Feature Fusion Based on Neural Image Captioning with Spatial Attention2019

    • 著者名/発表者名
      Qingqing Lu, Xiaomei Zhang, Xin Kang, and Fuji Ren
    • 学会等名
      The 9th International Workshop on Computer Science and Engineering (WCSE 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Position-Free Hand Gesture Recognition Using Single Shot MultiBox Detector Based Neural Network2019

    • 著者名/発表者名
      Jingwei Tang, Xingtian Yao, Xin Kang, Shun Nishide, and Fuji Ren
    • 学会等名
      2019 IEEE International Conference on Mechatronics and Automation (ICMA)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Text Detection for Natural Scene based on MobileNet V2 and U-Net2019

    • 著者名/発表者名
      Fu, Kangwei, Ling Sun, Xin Kang, and Fuji Ren
    • 学会等名
      2019 IEEE International Conference on Mechatronics and Automation (ICMA)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Face and Gender Recognition System Based on Convolutional Neural networks2019

    • 著者名/発表者名
      Zhou, Yuxiang, Hongjun Ni, Fuji Ren, and Xin Kang
    • 学会等名
      2019 IEEE International Conference on Mechatronics and Automation (ICMA)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Building Label-Balanced Emotion Corpus Based On Active Learning for Text Emotion Classification2019

    • 著者名/発表者名
      Xuefeng Shi, Xin Kang, Ping Liao, and Fuji Ren
    • 学会等名
      The 4th International Symposium on Artificial Intelligence and Robotics (ISAIR2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Capture Important Information for Reading andReasoning by A Two-Pass Attention Mechanism in Dynamic Memory Network2019

    • 著者名/発表者名
      Zheng Zhou, Xin Kang, Shun Nishide, and Fuji Ren
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Text multi-label sentiment analysis based on Bi-LSTM2019

    • 著者名/発表者名
      Junlin Hu, Xin Kang, Shun Nishide, and Fuji Ren
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] ExploringUncertain Samples through Active Learning To Enhance Text Emotion Classification2019

    • 著者名/発表者名
      Rongyu Dou, Nishide Shun, Fuji Ren, and Xin Kang
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Object detection based on SSD-ResNet2019

    • 著者名/発表者名
      Xin Lu, Xin Kang, Shun Nishide, and Fuji Ren
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Character action recognition based on deep convolutional neural network and action sequence2019

    • 著者名/発表者名
      Jiaen Li, Fuji Ren, Shun Nishide, and Xin Kang
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Constructing a Fundamental DevelopmentalDrawing Learning Model Using an Arm Robot2019

    • 著者名/発表者名
      Ryosuke Yasumura, Shun Nishide, Xin Kang, and Fuji Ren
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Investigating voice features for Speech emotion recognition based on four kinds of machine learning methods2019

    • 著者名/発表者名
      Haiyan Chen, Zheng Liu, Xin Kang, Shun Nishide, and Fuji Ren
    • 学会等名
      The 6th IEEE International Conference on Cloud Computing and Intelligence Systems (CCIS2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] TUA1 at the NTCIR-14 STC-3 Task2019

    • 著者名/発表者名
      Zhou, Yangyang, Zheng Liu, Xin Kang, Yunong Wu, and Fuji Ren
    • 学会等名
      The 14th NTCIR Conference
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Tua1 at imageclef 2019 vqa-med: A classification and generation model based on transfer learning2019

    • 著者名/発表者名
      Zhou, Yangyang, Xin Kang, and Fuji Ren
    • 学会等名
      Conference and Labs of the Evaluation Form (CLEF) 2019
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] TUA1 at the TREC 2019: Deep Learning Track2019

    • 著者名/発表者名
      Yun Gao, Haitao Yu, Xin Kang, and Fuji Ren
    • 学会等名
      The 28th Text Retrieval Conference (TREC 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi