• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

感性情報からユーザの嗜好を獲得するインタラクティブエージェントの実現

研究課題

研究課題/領域番号 20K19905
研究機関名古屋工業大学

研究代表者

佐久間 拓人  名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)

研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード顔表情および音声からの感情推定 / ヒューマンエージェントインタラクション
研究実績の概要

本研究は音声からの感情推定を用いてユーザの嗜好を獲得し,インタラクションにユーザの好みを反映することが出来るエージェントの構築,およびエージェントに対する印象を向上させることを目的としている.
3年次の成果として特筆すべきものは感情推定・感情表現に関する技術が挙げられる.本研究課題において感情推定はユーザの嗜好学習における要素の一つであり,特に音声からの感情推定が提案システムに組み込まれている.また,ユーザが自然な感情表現であると感じるような技術開発もユーザへ出力する行動価値関数の学習,ならびに感情推定も含めた感情モデルの構築にとって重要な技術である.
これまでに引き続き音声と表情から感情推定するモデルの改良に取り組んでいるが,特に感情表現に関する研究の成果が徐々に出始めている.ロボットの身体で感情を表現する研究や,文章から推定した絵文字に基づき応答表情を表出するインタラクティブエージェントに関する研究成果を発表した.また,ドメイン適応によって脳波データの個人差を吸収し,感情推定モデルの精度を向上させた研究成果も発表した.
そのほか,商品配置最適化アルゴリズムが算出した最適化後の配置をより正しく評価するためのシミュレータ開発に関する研究発表を国際会議(IEA/AIE 2022)にて行った.感情モデルとは直接の関係は無いものの,本研究でも取り扱うマルチエージェントシステムおよびシミュレータ作成に関する知見の獲得に寄与した研究である.提案したシミュレータは共同研究先から提供頂いたデータから実倉庫におけるピッキングカートの動作を再現することを目的として開発を進めていた.改良の余地はあるものの,共同研究先の方々に納得して頂ける成果を出すことに成功した.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

被験者実験を伴わない感情推定モデルの構築に関する研究は進展が見られたが,COVID-19の影響もあり,当初予定していた被験者の主観評価による感性評価実験は現時点においても小規模なものにとどまっている.感情表現に関する研究や,商品配置最適化アルゴリズムのためのマルチエージェントシミュレータ開発など,成果を残した研究も見られるが,本研究課題に対する進捗状況はやや遅れていると判断した.

今後の研究の推進方策

今後は本研究が対象としている報酬付与時の音声を用いた感情認識に取り組みたい.大規模言語モデルの発達が顕著であり,音声からの言語認識によって大規模言語モデルを利用した感情認識モデルの構築を模索中である.そのためにはデータ収集から取り組まねばならず,COVID-19の影響によって面着実験の実施は困難であるため,主観評価実験無しで収集する方法を模索中である.現在は国立情報学研究所の音声資源コンソーシアムにて公開されている「感情評定値付きオンラインゲーム音声チャットコーパス (OGVC)」の利用を考えているが,より良いコーパスの探索も続けていく.
また,既に着手しているが,実機ロボットへの応用を目指したアプローチの一つとして,リアルタイムかつ直感的に実機ロボットを制御可能な技術であるAssociative Motion Generation(AMG)の改良を進める.

次年度使用額が生じた理由

COVID-19の影響によって学会等における旅費が見込めなかったため,計算機購入費用,実験用機材費,論文投稿用費用として使用する予定であったが,世界的な半導体不足の影響もあり当該年度中の執行が困難であることが見込まれたため高額な高性能計算機の購入を次年度に持ち越すこととした.それに伴い次年度使用額が生じたものである.
使用計画は購入を見送った高性能計算機,学会等の旅費,論文投稿費,および実験用ロボットである.

  • 研究成果

    (51件)

すべて 2022

すべて 雑誌論文 (26件) (うち査読あり 11件) 学会発表 (25件) (うち国際学会 10件)

  • [雑誌論文] 混合整数最適化に基づく生産ライン作業スケジュール生成システムの開発2022

    • 著者名/発表者名
      三神賢雅, 伊原滉也, 佐久間拓人, 加藤昇平
    • 雑誌名

      第36回人工知能学会

      巻: - ページ: 3N3-GS-10

  • [雑誌論文] 双曲空間への埋め込みと感情認識・潜在表現単一化タスクによる感情のクロスモーダル表現2022

    • 著者名/発表者名
      原田誠一, 佐久間拓人, 加藤昇平
    • 雑誌名

      第36回人工知能学会

      巻: - ページ: 2I5-OS-9a-03

  • [雑誌論文] Audio-Visual Shared Emotion Representation for Robust Emotion Recognition on Modality Missing Using Hemi-hyperspherical Embedding and Latent Space Unification2022

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 雑誌名

      24th International Conference on Human-Computer Interaction (Communications in Computer and Information Science, Springer)

      巻: - ページ: 137-143

    • 査読あり
  • [雑誌論文] Dementia Screening Based on SVM Using Qualitative Drawing Error of Clock Drawing Test2022

    • 著者名/発表者名
      Akira Masuo, Yuki Ito, Tsukasa Kanaiwa, Kosuke Naito, Takuto Sakuma, Shohei Kato
    • 雑誌名

      The 44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society

      巻: - ページ: 4561-4564

    • 査読あり
  • [雑誌論文] 脳賦活反応分類のための機能的近赤外分光法に基づく生体信号を用いた複数認知課題の評価2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 雑誌名

      第61回日本生体医工学会大会2022

      巻: - ページ: O1-4-5-3

  • [雑誌論文] ドメイン適応により個人の少量脳波データを拡張する感情推定モデル2022

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 雑誌名

      電気学会論文誌C(電子・情報・システム部門誌)

      巻: 142(7) ページ: 771-780

    • 査読あり
  • [雑誌論文] Development of a Multiagent based Order Picking Simulator for Optimizing Operations in a Logistics Warehouse2022

    • 著者名/発表者名
      Takuto Sakuma, Minami Watanabe, Koya Ihara, Shohei Kato
    • 雑誌名

      International Conference on Industrial Engineering and Other Applications of Applied Intelligent Systems

      巻: - ページ: 63-73

    • 査読あり
  • [雑誌論文] ペルソナを更新しユーザに親和する一貫した個性を獲得する対話エージェント2022

    • 著者名/発表者名
      近藤一希, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和四年度 電気・電子・情報関係学会 東海支部連合大会

      巻: - ページ: J2-1

  • [雑誌論文] ロボットアバターを用いたテキストチャットにおけるユーザの存在感強化2022

    • 著者名/発表者名
      中村康嵩, 原田誠一, 佐久間拓人, 田中由浩, 南角吉彦, 加藤昇平
    • 雑誌名

      第24回日本感性工学会大会

      巻: - ページ: 1C-3-02

  • [雑誌論文] 表情同調に基づき絵文字表情を応答する感性エージェント2022

    • 著者名/発表者名
      河合佑里香, 佐久間拓人, 加藤昇平
    • 雑誌名

      第24回日本感性工学会大会

      巻: - ページ: 1C-3-01

  • [雑誌論文] 光トポグラフィーによる意思表出困難な筋萎縮性側索硬化症患者の拡大代替コミュニケーション2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 雑誌名

      第24回日本感性工学会大会

      巻: - ページ: 1C-3-03

  • [雑誌論文] Evaluation of Mental Tasks for Brain Activation Response Discrimination Based on Functional Near-Infrared Spectroscopy2022

    • 著者名/発表者名
      Akira Masuo, Takuto Sakuma, Shohei Kato
    • 雑誌名

      生体医工学シンポジウム2022

      巻: - ページ: 1E-24

  • [雑誌論文] 3段階進化戦略による魔方陣生成2022

    • 著者名/発表者名
      竹味和輝, 佐久間拓人, 加藤昇平
    • 雑誌名

      第21回情報科学技術フォーラム(FIT2022)

      巻: - ページ: CF-004

  • [雑誌論文] 発話音声に基づく FTLD・ALS の簡易検出における 音響・言語モダリティ混合の検討2022

    • 著者名/発表者名
      伊藤有生, 加藤昇平, 坂口 巧一, 佐久間拓人, 大嶽れい子, 枡田道人, 渡辺宏久
    • 雑誌名

      第21回情報科学技術フォーラム(FIT2022)

      巻: - ページ: CK-007

  • [雑誌論文] ハンドベルの和音特徴を考慮した対話型進化計算による楽曲の自動生成2022

    • 著者名/発表者名
      甲斐川純奈, 佐久間拓人, 加藤昇平
    • 雑誌名

      第21回情報科学技術フォーラム(FIT2022)

      巻: - ページ: CE-010

  • [雑誌論文] 隣接制約を用いた混合整数二次制約問題による廊下を考慮した間取り生成2022

    • 著者名/発表者名
      杉浦順香, 佐久間拓人, 加藤昇平
    • 雑誌名

      第21回情報科学技術フォーラム(FIT2022)

      巻: - ページ: CE-010

  • [雑誌論文] Brain-Computer Interface応用に向けた筋萎縮性側索硬化症患者における脳賦活反応の推定2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 雑誌名

      第56回日本作業療法学会

      巻: - ページ: OP-1-1

  • [雑誌論文] 重度四肢麻痺患者の生活支援を目的とした近赤外分光法に基づく機能代替手法の検討2022

    • 著者名/発表者名
      増尾明, 阿部信美, 佐久間拓人, 加藤昇平
    • 雑誌名

      第10回看護理工学会学術集会

      巻: - ページ: 07-4

  • [雑誌論文] Abstracting Teammate With Multi-Agent DDPG Using Dual Encoders2022

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 870-872

    • 査読あり
  • [雑誌論文] Plant Disease Detection With Generative Adversarial Networks for Assisting Extension Workers2022

    • 著者名/発表者名
      Yoshihisa Kamohara Takuto Sakuma Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 868-869

    • 査読あり
  • [雑誌論文] Introducing an AGV System into the Warehouse and Optimizing Product Placement for Efficient Operation2022

    • 著者名/発表者名
      Minami Watanabe Koya Ihara Takuto Sakuma Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 864-865

    • 査読あり
  • [雑誌論文] Facial Expressions Generating Model Reflecting Agent's Emotion Response Using Facial Landmark Residual Networks2022

    • 著者名/発表者名
      Shintaro Kondo Seiichi Harata Takuto Sakuma Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 714-715

    • 査読あり
  • [雑誌論文] Emotion Recognition Model With Class-wise Domain Adaptation Based on Few-Shot EEG Learning2022

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 710-711

    • 査読あり
  • [雑誌論文] LiDAR-Based Safe and Realistic Path Planning in Partially Observable Environments2022

    • 著者名/発表者名
      Shunta Ishizuya, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 862-863

    • 査読あり
  • [雑誌論文] Enhancing Social Telepresence on Text Communication Using Robot Avatar that Reflects User's Chatting States2022

    • 著者名/発表者名
      Yasutaka Nakamura, Seiichi Harata, Takuto Sakuma, Yoshihiro Tanaka, Yoshihiko Nankaku, Shohei Kato
    • 雑誌名

      2022 IEEE 11th Global Conference on Consumer Electronics

      巻: - ページ: 720-722

    • 査読あり
  • [雑誌論文] 高齢者を対象とした健康調査および歩容測定による認知症スクリーニングツールの考案2022

    • 著者名/発表者名
      竹尾淳, 増尾明, 中村早希, 佐久間拓人, 川出義浩, 鈴木匡, 渡邊航平, 赤津裕康, 加藤昇平
    • 雑誌名

      電子情報通信学会 信学技報 福祉情報工学研究会

      巻: 122(222) ページ: 1-4

  • [学会発表] 混合整数最適化に基づく生産ライン作業スケジュール生成システムの開発2022

    • 著者名/発表者名
      三神賢雅, 伊原滉也, 佐久間拓人, 加藤昇平
    • 学会等名
      第36回人工知能学会
  • [学会発表] 双曲空間への埋め込みと感情認識・潜在表現単一化タスクによる感情のクロスモーダル表現2022

    • 著者名/発表者名
      原田誠一, 佐久間拓人, 加藤昇平
    • 学会等名
      第36回人工知能学会
  • [学会発表] Audio-Visual Shared Emotion Representation for Robust Emotion Recognition on Modality Missing Using Hemi-hyperspherical Embedding and Latent Space Unification2022

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 学会等名
      24th International Conference on Human-Computer Interaction (Communications in Computer and Information Science, Springer)
    • 国際学会
  • [学会発表] Dementia Screening Based on SVM Using Qualitative Drawing Error of Clock Drawing Test2022

    • 著者名/発表者名
      Akira Masuo, Yuki Ito, Tsukasa Kanaiwa, Kosuke Naito, Takuto Sakuma, Shohei Kato
    • 学会等名
      The 44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society
    • 国際学会
  • [学会発表] 脳賦活反応分類のための機能的近赤外分光法に基づく生体信号を用いた複数認知課題の評価2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      第61回日本生体医工学会大会2022
  • [学会発表] Development of a Multiagent based Order Picking Simulator for Optimizing Operations in a Logistics Warehouse2022

    • 著者名/発表者名
      Takuto Sakuma, Minami Watanabe, Koya Ihara, Shohei Kato
    • 学会等名
      International Conference on Industrial Engineering and Other Applications of Applied Intelligent Systems
    • 国際学会
  • [学会発表] ペルソナを更新しユーザに親和する一貫した個性を獲得する対話エージェント2022

    • 著者名/発表者名
      近藤一希, 佐久間拓人, 加藤昇平
    • 学会等名
      令和四年度 電気・電子・情報関係学会 東海支部連合大会
  • [学会発表] ロボットアバターを用いたテキストチャットにおけるユーザの存在感強化2022

    • 著者名/発表者名
      中村康嵩, 原田誠一, 佐久間拓人, 田中由浩, 南角吉彦, 加藤昇平
    • 学会等名
      第24回日本感性工学会大会
  • [学会発表] 表情同調に基づき絵文字表情を応答する感性エージェント2022

    • 著者名/発表者名
      河合佑里香, 佐久間拓人, 加藤昇平
    • 学会等名
      第24回日本感性工学会大会
  • [学会発表] 光トポグラフィーによる意思表出困難な筋萎縮性側索硬化症患者の拡大代替コミュニケーション2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      第24回日本感性工学会大会
  • [学会発表] Evaluation of Mental Tasks for Brain Activation Response Discrimination Based on Functional Near-Infrared Spectroscopy2022

    • 著者名/発表者名
      Akira Masuo, Takuto Sakuma, Shohei Kato
    • 学会等名
      生体医工学シンポジウム2022
  • [学会発表] 3段階進化戦略による魔方陣生成2022

    • 著者名/発表者名
      竹味和輝, 佐久間拓人, 加藤昇平
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
  • [学会発表] 発話音声に基づく FTLD・ALS の簡易検出における 音響・言語モダリティ混合の検討2022

    • 著者名/発表者名
      伊藤有生, 加藤昇平, 坂口 巧一, 佐久間拓人, 大嶽れい子, 枡田道人, 渡辺宏久
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
  • [学会発表] ハンドベルの和音特徴を考慮した対話型進化計算による楽曲の自動生成2022

    • 著者名/発表者名
      甲斐川純奈, 佐久間拓人, 加藤昇平
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
  • [学会発表] 隣接制約を用いた混合整数二次制約問題による廊下を考慮した間取り生成2022

    • 著者名/発表者名
      杉浦順香, 佐久間拓人, 加藤昇平
    • 学会等名
      第21回情報科学技術フォーラム(FIT2022)
  • [学会発表] Brain-Computer Interface応用に向けた筋萎縮性側索硬化症患者における脳賦活反応の推定2022

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      第56回日本作業療法学会
  • [学会発表] 重度四肢麻痺患者の生活支援を目的とした近赤外分光法に基づく機能代替手法の検討2022

    • 著者名/発表者名
      増尾明, 阿部信美, 佐久間拓人, 加藤昇平
    • 学会等名
      第10回看護理工学会学術集会
  • [学会発表] Abstracting Teammate With Multi-Agent DDPG Using Dual Encoders2022

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Plant Disease Detection With Generative Adversarial Networks for Assisting Extension Workers2022

    • 著者名/発表者名
      Yoshihisa Kamohara Takuto Sakuma Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Introducing an AGV System into the Warehouse and Optimizing Product Placement for Efficient Operation2022

    • 著者名/発表者名
      Minami Watanabe Koya Ihara Takuto Sakuma Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Facial Expressions Generating Model Reflecting Agent's Emotion Response Using Facial Landmark Residual Networks2022

    • 著者名/発表者名
      Shintaro Kondo Seiichi Harata Takuto Sakuma Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Emotion Recognition Model With Class-wise Domain Adaptation Based on Few-Shot EEG Learning2022

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] LiDAR-Based Safe and Realistic Path Planning in Partially Observable Environments2022

    • 著者名/発表者名
      Shunta Ishizuya, Takuto Sakuma, Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Enhancing Social Telepresence on Text Communication Using Robot Avatar that Reflects User's Chatting States2022

    • 著者名/発表者名
      Yasutaka Nakamura, Seiichi Harata, Takuto Sakuma, Yoshihiro Tanaka, Yoshihiko Nankaku, Shohei Kato
    • 学会等名
      2022 IEEE 11th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] 高齢者を対象とした健康調査および歩容測定による認知症スクリーニングツールの考案2022

    • 著者名/発表者名
      竹尾淳, 増尾明, 中村早希, 佐久間拓人, 川出義浩, 鈴木匡, 渡邊航平, 赤津裕康, 加藤昇平
    • 学会等名
      電子情報通信学会 信学技報 福祉情報工学研究会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi