• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

感性情報からユーザの嗜好を獲得するインタラクティブエージェントの実現

研究課題

研究課題/領域番号 20K19905
研究機関名古屋工業大学

研究代表者

佐久間 拓人  名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)

研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード顔表情および音声からの感情推定 / ヒューマンエージェントインタラクション
研究実績の概要

本研究は音声からの感情推定を用いてユーザの嗜好を獲得し,インタラクションにユーザの好みを反映することが出来るエージェントの構築,およびエージェントに対する印象を向上させることを目的としている.
2年次の成果として特筆すべきものは感情推定・感情表現に関する技術が挙げられる.本研究課題において感情推定はユーザの嗜好学習における要素の一つであり,特に音声からの感情推定が提案システムに組み込まれている.また,ユーザが自然な感情表現であると感じるような技術開発もユーザへ出力する行動価値関数の学習,ならびに感情推定も含めた感情モデルの構築にとって重要な技術である.
2年次は1年次に引き続き音声と表情から感情推定するモデルの改良に取り組んでいるが,特に感情表現に関する研究の成果が徐々に出始めている.ロボットの身体で感情を表現する研究や,文章から絵文字で感情も表現する手法など,まだまだ着手しはじめではあるものの印象評価実験を重ねて成果として研究会で発表しつつある.今後も継続して取り組んでいきたい.
そのほか,2020年から参加している株式会社八幡ねじとの共同研究において商品配置最適化アルゴリズムが算出した最適化後の配置をより正しく評価するためのシミュレータ開発が一段落を迎えた.感情モデルとは直接の関係は無いものの,本研究でも取り扱うマルチエージェントシステムおよびシミュレータ作成に関する知見の獲得に寄与する研究である.国内会議で成果を報告し,国際会議にて一本採録決定したため発表予定である.提案したシミュレータは共同研究先から提供頂いたデータから実倉庫におけるピッキングカートの動作を再現することを目的として開発を進めていた.改良の余地はあるものの,共同研究先の方々に納得して頂ける成果を出すことに成功した.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

被験者実験を伴わない感情推定モデルの構築に関する研究は進展が見られたが,COVID-19の影響もあり,当初予定していた被験者の主観評価による感性評価実験は現時点においても小規模なものにとどまっている.感情表現に関する研究や,商品配置最適化アルゴリズムのためのマルチエージェントシミュレータ開発など,成果を残した研究も見られるが,本研究課題に対する進捗状況はやや遅れていると判断した.

今後の研究の推進方策

今後は本研究が対象としている報酬付与時の音声を用いた感情認識に取り組みたい.そのためにはデータ収集から取り組まねばならず,COVID-19の影響によって面着実験の実施は困難であるため,主観評価実験無しで収集する方法を模索中である.現在は国立情報学研究所の音声資源コンソーシアムにて公開されている「感情評定値付きオンラインゲーム音声チャットコーパス (OGVC)」の利用を考えているが,より良いコーパスの探索も続けていく.
また,既に着手しているが,実機ロボットへの応用を目指したアプローチの一つとして,リアルタイムかつ直感的に実機ロボットを制御可能な技術であるAssociative Motion Generation(AMG)の改良を進める.

次年度使用額が生じた理由

COVID-19の影響によって学会等における旅費が見込めなかったため,計算機購入費用,実験用機材費,論文投稿用費用として使用する予定であったが,世界的な半導体不足の影響もあり当該年度中の執行が困難であることが見込まれたため高額な高性能計算機の購入を次年度に持ち越すこととした.それに伴い次年度使用額が生じたものである.
使用計画は購入を見送った高性能計算機,学会等の旅費,論文投稿費,および実験用ロボットである.

  • 研究成果

    (65件)

すべて 2022 2021

すべて 雑誌論文 (27件) (うち査読あり 14件) 学会発表 (38件) (うち国際学会 11件)

  • [雑誌論文] Comparison of Loss Functions in Contrastive Learning for Latent Space Unification and Emotion Recognition on Multimodal Deep Learning2022

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 雑誌名

      27th International Symposium on Artificial Life and Robotics

      巻: - ページ: GS17-4

    • 査読あり
  • [雑誌論文] Personalized Emotion Recognition Model Based on Few-shot EEG Learning: Effect of Domain Adaptation in Emotional Feature Space2022

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 雑誌名

      27th International Symposium on Artificial Life and Robotics

      巻: - ページ: GS22-4

    • 査読あり
  • [雑誌論文] Tennis Swing Form Evaluation Based on Swing Characteristics Related with Skillfulness Using Accelerometer and Gyroscopes2022

    • 著者名/発表者名
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • 雑誌名

      27th International Symposium on Artificial Life and Robotics

      巻: - ページ: GS29-7

    • 査読あり
  • [雑誌論文] Unsupervised Plant Disease Detection Using Generative Models with Deep Neural Networks2022

    • 著者名/発表者名
      Yoshihisa Kamohara, Takuto Sakuma, Shohei Kato
    • 雑誌名

      27th International Symposium on Artificial Life and Robotics

      巻: - ページ: GS22-2

    • 査読あり
  • [雑誌論文] Distributed Reinforcement Learning that Emerges Teamwork between Agents with Different Abilities2022

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 雑誌名

      27th International Symposium on Artificial Life and Robotics

      巻: - ページ: GS21-6

    • 査読あり
  • [雑誌論文] 人型ロボットの身体動作に感情を付与するためのRNNPB-Trans2022

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 雑誌名

      日本感性工学会論文誌

      巻: 21 ページ: 143-153

    • 査読あり
  • [雑誌論文] Classification performance of fNIRS based BCI and psychological burden assessment in patient with Duchenne muscular dystrophy2021

    • 著者名/発表者名
      Akira Masuo, Shunya Hanai, Takuto Sakuma, Shohei Kato
    • 雑誌名

      生体医工学シンポジウム 2021

      巻: - ページ: 23

  • [雑誌論文] Initialization Effects for PSO Based Storage Assignment Optimization2021

    • 著者名/発表者名
      Minami Watanabe, Koya Ihara, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics

      巻: - ページ: 571-572

    • 査読あり
  • [雑誌論文] Acquisition of lip-sync expressions using transfer learning for text-to-speech emotional expression agents2021

    • 著者名/発表者名
      Shintaro Kondo, Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics

      巻: - ページ: 373-374

    • 査読あり
  • [雑誌論文] SUGO-MIMI: A Waggle Ear-Type Device Linked to Eyebrows2021

    • 著者名/発表者名
      Shoko Kimura, Ayaka Fujii, Seiichi Harata, TakutoSakuma , Shohei Kato
    • 雑誌名

      9th International Conference on Affective Computing & Intelligent Interaction

      巻: - ページ: Demo No156

    • 査読あり
  • [雑誌論文] Emotion Recognition with Domain Adaptation Based on Few-Shot EEG Learning2021

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics

      巻: - ページ: 373-374

    • 査読あり
  • [雑誌論文] Reinforcement Learning That Emerges Teamwork in Heterogeneous Multi-Agent Environment2021

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics

      巻: - ページ: 553-555

    • 査読あり
  • [雑誌論文] Omnidirectional Mobile Robot Path Finding Using Deep Deterministic Policy Gradient for Real Robot Control2021

    • 著者名/発表者名
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics

      巻: - ページ: 634-635

    • 査読あり
  • [雑誌論文] Using Sim-To-Real Transfer Learning to Close Gaps Between Simulation and Real Environments Through Reinforcement Learning2021

    • 著者名/発表者名
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • 雑誌名

      Journal of the International Society of Artificial Life and Robotics

      巻: - ページ: -

    • 査読あり
  • [雑誌論文] 3 軸加速度データを用いた重錘負荷による障害者模擬歩行の定量解析2021

    • 著者名/発表者名
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和3年度 電気・電子・情報関係学会東海支部連合大会

      巻: - ページ: E4-1

  • [雑誌論文] 人型ロボットの身体動作に感情を付与するRNNPB-Trans2021

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 雑誌名

      第23回日本感性工学会大会

      巻: - ページ: 3S04-06-03

  • [雑誌論文] 物流倉庫におけるオーダーピッキングシミュレータの開発2021

    • 著者名/発表者名
      佐久間拓人, 渡邉南美, 伊原滉也, 加藤昇平
    • 雑誌名

      情報処理学会研究報告数理モデル化と問題解決(MPS)

      巻: 2021-MPS-135 ページ: 1-5

  • [雑誌論文] 能力差のあるマルチエージェント環境下における協調行動と通信を創発する分散強化学習2021

    • 著者名/発表者名
      兵藤佑輝, 奥原俊, 伊藤孝行, 佐久間拓人, 加藤昇平
    • 雑誌名

      人工知能学会全国大会論文集

      巻: - ページ: 2I4GS5c01

  • [雑誌論文] マルチモーダル深層マルチタスク学習に基づく人間の評定分布を再現する感情空間2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      第23回日本感性工学会大会

      巻: - ページ: 1B01-03-03

  • [雑誌論文] モダリティ融合に基づく感情認識・潜在表現単一化による感情の数理的表現: モダリティ疑似欠損下での感情空間の表現力2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      第20回情報科学技術フォーラム

      巻: - ページ: CJ-005

  • [雑誌論文] モダリティ融合に基づく認識・単一化タスクによる感情の超球表現2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      人工知能学会全国大会論文集

      巻: - ページ: 4D3-OS-4b-04

  • [雑誌論文] 推定対象ユーザの少量脳波データによるドメイン適応付き感情推定モデル2021

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 雑誌名

      人工知能学会全国大会論文集

      巻: - ページ: 395-398

  • [雑誌論文] fNIRS 信号の時系列性を考慮した脳活動状態分類による BCI 性能評価2021

    • 著者名/発表者名
      増尾明, 花井俊哉, 阿部信美, 佐久間拓人, 加藤昇平
    • 雑誌名

      第20回情報科学技術フォーラム

      巻: - ページ: CJ-006

  • [雑誌論文] 械学習を用いた認知症スクリーニングに有用な時計描画課題の特徴分析2021

    • 著者名/発表者名
      増尾明, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • 雑誌名

      第55回日本作業療法学会

      巻: - ページ: OP-25

  • [雑誌論文] スゴミミを用いた感情伝達の評価2021

    • 著者名/発表者名
      木村正子, 藤井綺香, 原田誠一, 佐久間拓人, 加藤昇平
    • 雑誌名

      第23回日本感性工学会大会

      巻: - ページ: 1B01-03-01

  • [雑誌論文] L?vy Flight を導入したBinary PSOによる物流倉庫の商品配置最適化2021

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 雑誌名

      人工知能学会全国大会論文集

      巻: - ページ: 1274-1277

  • [雑誌論文] 認知課題遂行時の発話特徴を用いた認知症希少疾患の簡易検出2021

    • 著者名/発表者名
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • 雑誌名

      電子情報通信学会論文誌D

      巻: J104-D ページ: 198-206

    • 査読あり
  • [学会発表] Distributed Reinforcement Learning that Emerges Teamwork between Agents with Different Abilities2022

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 学会等名
      27th International Symposium on Artificial Life and Robotics
    • 国際学会
  • [学会発表] Unsupervised Plant Disease Detection Using Generative Models with Deep Neural Networks2022

    • 著者名/発表者名
      Yoshihisa Kamohara, Takuto Sakuma, Shohei Kato
    • 学会等名
      27th International Symposium on Artificial Life and Robotics
    • 国際学会
  • [学会発表] Personalized Emotion Recognition Model Based on Few-shot EEG Learning: Effect of Domain Adaptation in Emotional Feature Space2022

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 学会等名
      27th International Symposium on Artificial Life and Robotics
    • 国際学会
  • [学会発表] Tennis Swing Form Evaluation Based on Swing Characteristics Related with Skillfulness Using Accelerometer and Gyroscopes2022

    • 著者名/発表者名
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • 学会等名
      27th International Symposium on Artificial Life and Robotics
    • 国際学会
  • [学会発表] Comparison of Loss Functions in Contrastive Learning for Latent Space Unification and Emotion Recognition on Multimodal Deep Learning2022

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 学会等名
      27th International Symposium on Artificial Life and Robotics
    • 国際学会
  • [学会発表] Levy Flight を導入したBinary PSOによる物流倉庫の商品配置最適化2021

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 学会等名
      人工知能学会全国大会論文集
  • [学会発表] 能力差のあるマルチエージェント環境下における協調行動と通信を創発する分散強化学習2021

    • 著者名/発表者名
      兵藤佑輝, 奥原俊, 伊藤孝行, 佐久間拓人, 加藤昇平
    • 学会等名
      人工知能学会全国大会論文集
  • [学会発表] モダリティ融合に基づく認識・単一化タスクによる感情の超球表現2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 学会等名
      人工知能学会全国大会論文集
  • [学会発表] 推定対象ユーザの少量脳波データによるドメイン適応付き感情推定モデル2021

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 学会等名
      人工知能学会全国大会論文集
  • [学会発表] fNIRS 信号の時系列性を考慮した脳活動状態分類による BCI 性能評価2021

    • 著者名/発表者名
      増尾明, 花井俊哉, 阿部信美, 佐久間拓人, 加藤昇平
    • 学会等名
      第20回情報科学技術フォーラム
  • [学会発表] モダリティ融合に基づく感情認識・潜在表現単一化による感情の数理的表現: モダリティ疑似欠損下での感情空間の表現力2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 学会等名
      第20回情報科学技術フォーラム
  • [学会発表] スゴミミを用いた感情伝達の評価2021

    • 著者名/発表者名
      木村正子, 藤井綺香, 原田誠一, 佐久間拓人, 加藤昇平
    • 学会等名
      第23回日本感性工学会大会
  • [学会発表] 人型ロボットの身体動作に感情を付与するRNNPB-Trans2021

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 学会等名
      第23回日本感性工学会大会
  • [学会発表] マルチモーダル深層マルチタスク学習に基づく人間の評定分布を再現する感情空間2021

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 学会等名
      第23回日本感性工学会大会
  • [学会発表] 3 軸加速度データを用いた重錘負荷による障害者模擬歩行の定量解析2021

    • 著者名/発表者名
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      令和3年度 電気・電子・情報関係学会東海支部連合大会
  • [学会発表] 械学習を用いた認知症スクリーニングに有用な時計描画課題の特徴分析2021

    • 著者名/発表者名
      増尾明, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • 学会等名
      第55回日本作業療法学会
  • [学会発表] Classification performance of fNIRS based BCI and psychological burden assessment in patient with Duchenne muscular dystrophy2021

    • 著者名/発表者名
      Akira Masuo, Shunya Hanai, Takuto Sakuma, Shohei Kato
    • 学会等名
      生体医工学シンポジウム 2021
  • [学会発表] Omnidirectional Mobile Robot Path Finding Using Deep Deterministic Policy Gradient for Real Robot Control2021

    • 著者名/発表者名
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • 学会等名
      2021 IEEE 10th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Initialization Effects for PSO Based Storage Assignment Optimization2021

    • 著者名/発表者名
      Minami Watanabe, Koya Ihara, Takuto Sakuma, Shohei Kato
    • 学会等名
      2021 IEEE 10th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Acquisition of lip-sync expressions using transfer learning for text-to-speech emotional expression agents2021

    • 著者名/発表者名
      Shintaro Kondo, Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 学会等名
      2021 IEEE 10th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Emotion Recognition with Domain Adaptation Based on Few-Shot EEG Learning2021

    • 著者名/発表者名
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • 学会等名
      2021 IEEE 10th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Reinforcement Learning That Emerges Teamwork in Heterogeneous Multi-Agent Environment2021

    • 著者名/発表者名
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • 学会等名
      2021 IEEE 10th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] 物流倉庫におけるオーダーピッキングシミュレータの開発2021

    • 著者名/発表者名
      佐久間拓人, 渡邉南美, 伊原滉也, 加藤昇平
    • 学会等名
      情報処理学会研究報告数理モデル化と問題解決(MPS)
  • [学会発表] SUGO-MIMI: A Waggle Ear-Type Device Linked to Eyebrows2021

    • 著者名/発表者名
      Shoko Kimura, Ayaka Fujii, Seiichi Harata, TakutoSakuma , Shohei Kato
    • 学会等名
      9th International Conference on Affective Computing & Intelligent Interaction
    • 国際学会
  • [学会発表] 物流倉庫における商品の入れ替え個数を考慮した商品配置最適化2021

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 発話内容に応じて非言語応答が変化するコミュニケーションエージェントの開発2021

    • 著者名/発表者名
      河合佑里香, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 発話音声解析によるFTLDおよびADの簡易検出における認知負荷の影響2021

    • 著者名/発表者名
      花井俊哉, 加藤昇平, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 強化学習によるシミュレーションと実環境とのギャップを軽減する転移学習2021

    • 著者名/発表者名
      牛田裕斗, Hafiyanda Razan, 佐久間 拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] マルチモーダル融合と感情認識・感情空間単一化におけるContrastive Learning手法の比較2021

    • 著者名/発表者名
      原田誠一, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 少量脳波データを用いた感情推定ー感情特徴空間におけるドメイン適応の効果ー2021

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] ハンドベルの和音特徴を考慮した木構造による楽曲表現の検討2021

    • 著者名/発表者名
      甲斐川純奈, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 混合整数二次計画問題に基づく間取りの階層的生成法の検討2021

    • 著者名/発表者名
      杉浦順香, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 認知症診断支援を目的としたClock Drawing Test描画特徴による認知機能障害の重症度分類2021

    • 著者名/発表者名
      増尾明, 伊藤有生, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] テニススイングフォーム評価のためのプレーレベルとスイング特徴の相関分析2021

    • 著者名/発表者名
      大島脩斗, 加藤昇平, 佐久間拓人
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 高齢者コミュニティを対象とした継続的健康調査による向社会性と健康・生活・ 認知機能状態の関係2021

    • 著者名/発表者名
      竹尾淳, 増尾明, 佐久間拓人, 赤津裕康, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 3軸加速度データを用いた歩容定量評価の基礎的検討?片脚重錘負荷歩行の識別2021

    • 著者名/発表者名
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      第19回情報学ワークショップ
  • [学会発表] 近赤外分光法に基づく脳血行動態変化を用いたBrain-Computer Interface構築の試み?筋萎縮性側索硬化症者の意思疎通支援?2021

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 学会等名
      第20回東海北陸作業療法学会
  • [学会発表] マルチモーダル深層学習を用いた半超球面埋め込みと潜在表現単一化によるモダリティに依存しない感情認識2021

    • 著者名/発表者名
      原田誠一, 佐久間拓人, 加藤昇平
    • 学会等名
      HCGシンポジウム2021

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi