• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

感性情報からユーザの嗜好を獲得するインタラクティブエージェントの実現

Research Project

Project/Area Number 20K19905
Research InstitutionNagoya Institute of Technology

Principal Investigator

佐久間 拓人  名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)

Project Period (FY) 2020-04-01 – 2024-03-31
Keywords顔表情および音声からの感情推定 / ヒューマンエージェントインタラクション
Outline of Annual Research Achievements

本研究は音声からの感情推定を用いてユーザの嗜好を獲得し,インタラクションにユーザの好みを反映することが出来るエージェントの構築,およびエージェントに対する印象を向上させることを目的としている.
2年次の成果として特筆すべきものは感情推定・感情表現に関する技術が挙げられる.本研究課題において感情推定はユーザの嗜好学習における要素の一つであり,特に音声からの感情推定が提案システムに組み込まれている.また,ユーザが自然な感情表現であると感じるような技術開発もユーザへ出力する行動価値関数の学習,ならびに感情推定も含めた感情モデルの構築にとって重要な技術である.
2年次は1年次に引き続き音声と表情から感情推定するモデルの改良に取り組んでいるが,特に感情表現に関する研究の成果が徐々に出始めている.ロボットの身体で感情を表現する研究や,文章から絵文字で感情も表現する手法など,まだまだ着手しはじめではあるものの印象評価実験を重ねて成果として研究会で発表しつつある.今後も継続して取り組んでいきたい.
そのほか,2020年から参加している株式会社八幡ねじとの共同研究において商品配置最適化アルゴリズムが算出した最適化後の配置をより正しく評価するためのシミュレータ開発が一段落を迎えた.感情モデルとは直接の関係は無いものの,本研究でも取り扱うマルチエージェントシステムおよびシミュレータ作成に関する知見の獲得に寄与する研究である.国内会議で成果を報告し,国際会議にて一本採録決定したため発表予定である.提案したシミュレータは共同研究先から提供頂いたデータから実倉庫におけるピッキングカートの動作を再現することを目的として開発を進めていた.改良の余地はあるものの,共同研究先の方々に納得して頂ける成果を出すことに成功した.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

被験者実験を伴わない感情推定モデルの構築に関する研究は進展が見られたが,COVID-19の影響もあり,当初予定していた被験者の主観評価による感性評価実験は現時点においても小規模なものにとどまっている.感情表現に関する研究や,商品配置最適化アルゴリズムのためのマルチエージェントシミュレータ開発など,成果を残した研究も見られるが,本研究課題に対する進捗状況はやや遅れていると判断した.

Strategy for Future Research Activity

今後は本研究が対象としている報酬付与時の音声を用いた感情認識に取り組みたい.そのためにはデータ収集から取り組まねばならず,COVID-19の影響によって面着実験の実施は困難であるため,主観評価実験無しで収集する方法を模索中である.現在は国立情報学研究所の音声資源コンソーシアムにて公開されている「感情評定値付きオンラインゲーム音声チャットコーパス (OGVC)」の利用を考えているが,より良いコーパスの探索も続けていく.
また,既に着手しているが,実機ロボットへの応用を目指したアプローチの一つとして,リアルタイムかつ直感的に実機ロボットを制御可能な技術であるAssociative Motion Generation(AMG)の改良を進める.

Causes of Carryover

COVID-19の影響によって学会等における旅費が見込めなかったため,計算機購入費用,実験用機材費,論文投稿用費用として使用する予定であったが,世界的な半導体不足の影響もあり当該年度中の執行が困難であることが見込まれたため高額な高性能計算機の購入を次年度に持ち越すこととした.それに伴い次年度使用額が生じたものである.
使用計画は購入を見送った高性能計算機,学会等の旅費,論文投稿費,および実験用ロボットである.

  • Research Products

    (65 results)

All 2022 2021

All Journal Article (27 results) (of which Peer Reviewed: 14 results) Presentation (38 results) (of which Int'l Joint Research: 11 results)

  • [Journal Article] Comparison of Loss Functions in Contrastive Learning for Latent Space Unification and Emotion Recognition on Multimodal Deep Learning2022

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Journal Title

      27th International Symposium on Artificial Life and Robotics

      Volume: - Pages: GS17-4

    • Peer Reviewed
  • [Journal Article] Personalized Emotion Recognition Model Based on Few-shot EEG Learning: Effect of Domain Adaptation in Emotional Feature Space2022

    • Author(s)
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • Journal Title

      27th International Symposium on Artificial Life and Robotics

      Volume: - Pages: GS22-4

    • Peer Reviewed
  • [Journal Article] Tennis Swing Form Evaluation Based on Swing Characteristics Related with Skillfulness Using Accelerometer and Gyroscopes2022

    • Author(s)
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • Journal Title

      27th International Symposium on Artificial Life and Robotics

      Volume: - Pages: GS29-7

    • Peer Reviewed
  • [Journal Article] Unsupervised Plant Disease Detection Using Generative Models with Deep Neural Networks2022

    • Author(s)
      Yoshihisa Kamohara, Takuto Sakuma, Shohei Kato
    • Journal Title

      27th International Symposium on Artificial Life and Robotics

      Volume: - Pages: GS22-2

    • Peer Reviewed
  • [Journal Article] Distributed Reinforcement Learning that Emerges Teamwork between Agents with Different Abilities2022

    • Author(s)
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • Journal Title

      27th International Symposium on Artificial Life and Robotics

      Volume: - Pages: GS21-6

    • Peer Reviewed
  • [Journal Article] 人型ロボットの身体動作に感情を付与するためのRNNPB-Trans2022

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Journal Title

      日本感性工学会論文誌

      Volume: 21 Pages: 143-153

    • Peer Reviewed
  • [Journal Article] Classification performance of fNIRS based BCI and psychological burden assessment in patient with Duchenne muscular dystrophy2021

    • Author(s)
      Akira Masuo, Shunya Hanai, Takuto Sakuma, Shohei Kato
    • Journal Title

      生体医工学シンポジウム 2021

      Volume: - Pages: 23

  • [Journal Article] Initialization Effects for PSO Based Storage Assignment Optimization2021

    • Author(s)
      Minami Watanabe, Koya Ihara, Takuto Sakuma, Shohei Kato
    • Journal Title

      2021 IEEE 10th Global Conference on Consumer Electronics

      Volume: - Pages: 571-572

    • Peer Reviewed
  • [Journal Article] Acquisition of lip-sync expressions using transfer learning for text-to-speech emotional expression agents2021

    • Author(s)
      Shintaro Kondo, Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Journal Title

      2021 IEEE 10th Global Conference on Consumer Electronics

      Volume: - Pages: 373-374

    • Peer Reviewed
  • [Journal Article] SUGO-MIMI: A Waggle Ear-Type Device Linked to Eyebrows2021

    • Author(s)
      Shoko Kimura, Ayaka Fujii, Seiichi Harata, TakutoSakuma , Shohei Kato
    • Journal Title

      9th International Conference on Affective Computing & Intelligent Interaction

      Volume: - Pages: Demo No156

    • Peer Reviewed
  • [Journal Article] Emotion Recognition with Domain Adaptation Based on Few-Shot EEG Learning2021

    • Author(s)
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • Journal Title

      2021 IEEE 10th Global Conference on Consumer Electronics

      Volume: - Pages: 373-374

    • Peer Reviewed
  • [Journal Article] Reinforcement Learning That Emerges Teamwork in Heterogeneous Multi-Agent Environment2021

    • Author(s)
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • Journal Title

      2021 IEEE 10th Global Conference on Consumer Electronics

      Volume: - Pages: 553-555

    • Peer Reviewed
  • [Journal Article] Omnidirectional Mobile Robot Path Finding Using Deep Deterministic Policy Gradient for Real Robot Control2021

    • Author(s)
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • Journal Title

      2021 IEEE 10th Global Conference on Consumer Electronics

      Volume: - Pages: 634-635

    • Peer Reviewed
  • [Journal Article] Using Sim-To-Real Transfer Learning to Close Gaps Between Simulation and Real Environments Through Reinforcement Learning2021

    • Author(s)
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • Journal Title

      Journal of the International Society of Artificial Life and Robotics

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] 3 軸加速度データを用いた重錘負荷による障害者模擬歩行の定量解析2021

    • Author(s)
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • Journal Title

      令和3年度 電気・電子・情報関係学会東海支部連合大会

      Volume: - Pages: E4-1

  • [Journal Article] 人型ロボットの身体動作に感情を付与するRNNPB-Trans2021

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Journal Title

      第23回日本感性工学会大会

      Volume: - Pages: 3S04-06-03

  • [Journal Article] 物流倉庫におけるオーダーピッキングシミュレータの開発2021

    • Author(s)
      佐久間拓人, 渡邉南美, 伊原滉也, 加藤昇平
    • Journal Title

      情報処理学会研究報告数理モデル化と問題解決(MPS)

      Volume: 2021-MPS-135 Pages: 1-5

  • [Journal Article] 能力差のあるマルチエージェント環境下における協調行動と通信を創発する分散強化学習2021

    • Author(s)
      兵藤佑輝, 奥原俊, 伊藤孝行, 佐久間拓人, 加藤昇平
    • Journal Title

      人工知能学会全国大会論文集

      Volume: - Pages: 2I4GS5c01

  • [Journal Article] マルチモーダル深層マルチタスク学習に基づく人間の評定分布を再現する感情空間2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Journal Title

      第23回日本感性工学会大会

      Volume: - Pages: 1B01-03-03

  • [Journal Article] モダリティ融合に基づく感情認識・潜在表現単一化による感情の数理的表現: モダリティ疑似欠損下での感情空間の表現力2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Journal Title

      第20回情報科学技術フォーラム

      Volume: - Pages: CJ-005

  • [Journal Article] モダリティ融合に基づく認識・単一化タスクによる感情の超球表現2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Journal Title

      人工知能学会全国大会論文集

      Volume: - Pages: 4D3-OS-4b-04

  • [Journal Article] 推定対象ユーザの少量脳波データによるドメイン適応付き感情推定モデル2021

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Journal Title

      人工知能学会全国大会論文集

      Volume: - Pages: 395-398

  • [Journal Article] fNIRS 信号の時系列性を考慮した脳活動状態分類による BCI 性能評価2021

    • Author(s)
      増尾明, 花井俊哉, 阿部信美, 佐久間拓人, 加藤昇平
    • Journal Title

      第20回情報科学技術フォーラム

      Volume: - Pages: CJ-006

  • [Journal Article] 械学習を用いた認知症スクリーニングに有用な時計描画課題の特徴分析2021

    • Author(s)
      増尾明, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • Journal Title

      第55回日本作業療法学会

      Volume: - Pages: OP-25

  • [Journal Article] スゴミミを用いた感情伝達の評価2021

    • Author(s)
      木村正子, 藤井綺香, 原田誠一, 佐久間拓人, 加藤昇平
    • Journal Title

      第23回日本感性工学会大会

      Volume: - Pages: 1B01-03-01

  • [Journal Article] L?vy Flight を導入したBinary PSOによる物流倉庫の商品配置最適化2021

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Journal Title

      人工知能学会全国大会論文集

      Volume: - Pages: 1274-1277

  • [Journal Article] 認知課題遂行時の発話特徴を用いた認知症希少疾患の簡易検出2021

    • Author(s)
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • Journal Title

      電子情報通信学会論文誌D

      Volume: J104-D Pages: 198-206

    • Peer Reviewed
  • [Presentation] Distributed Reinforcement Learning that Emerges Teamwork between Agents with Different Abilities2022

    • Author(s)
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Unsupervised Plant Disease Detection Using Generative Models with Deep Neural Networks2022

    • Author(s)
      Yoshihisa Kamohara, Takuto Sakuma, Shohei Kato
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Personalized Emotion Recognition Model Based on Few-shot EEG Learning: Effect of Domain Adaptation in Emotional Feature Space2022

    • Author(s)
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Tennis Swing Form Evaluation Based on Swing Characteristics Related with Skillfulness Using Accelerometer and Gyroscopes2022

    • Author(s)
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Comparison of Loss Functions in Contrastive Learning for Latent Space Unification and Emotion Recognition on Multimodal Deep Learning2022

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Organizer
      27th International Symposium on Artificial Life and Robotics
    • Int'l Joint Research
  • [Presentation] Levy Flight を導入したBinary PSOによる物流倉庫の商品配置最適化2021

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Organizer
      人工知能学会全国大会論文集
  • [Presentation] 能力差のあるマルチエージェント環境下における協調行動と通信を創発する分散強化学習2021

    • Author(s)
      兵藤佑輝, 奥原俊, 伊藤孝行, 佐久間拓人, 加藤昇平
    • Organizer
      人工知能学会全国大会論文集
  • [Presentation] モダリティ融合に基づく認識・単一化タスクによる感情の超球表現2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Organizer
      人工知能学会全国大会論文集
  • [Presentation] 推定対象ユーザの少量脳波データによるドメイン適応付き感情推定モデル2021

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Organizer
      人工知能学会全国大会論文集
  • [Presentation] fNIRS 信号の時系列性を考慮した脳活動状態分類による BCI 性能評価2021

    • Author(s)
      増尾明, 花井俊哉, 阿部信美, 佐久間拓人, 加藤昇平
    • Organizer
      第20回情報科学技術フォーラム
  • [Presentation] モダリティ融合に基づく感情認識・潜在表現単一化による感情の数理的表現: モダリティ疑似欠損下での感情空間の表現力2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Organizer
      第20回情報科学技術フォーラム
  • [Presentation] スゴミミを用いた感情伝達の評価2021

    • Author(s)
      木村正子, 藤井綺香, 原田誠一, 佐久間拓人, 加藤昇平
    • Organizer
      第23回日本感性工学会大会
  • [Presentation] 人型ロボットの身体動作に感情を付与するRNNPB-Trans2021

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Organizer
      第23回日本感性工学会大会
  • [Presentation] マルチモーダル深層マルチタスク学習に基づく人間の評定分布を再現する感情空間2021

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Organizer
      第23回日本感性工学会大会
  • [Presentation] 3 軸加速度データを用いた重錘負荷による障害者模擬歩行の定量解析2021

    • Author(s)
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • Organizer
      令和3年度 電気・電子・情報関係学会東海支部連合大会
  • [Presentation] 械学習を用いた認知症スクリーニングに有用な時計描画課題の特徴分析2021

    • Author(s)
      増尾明, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • Organizer
      第55回日本作業療法学会
  • [Presentation] Classification performance of fNIRS based BCI and psychological burden assessment in patient with Duchenne muscular dystrophy2021

    • Author(s)
      Akira Masuo, Shunya Hanai, Takuto Sakuma, Shohei Kato
    • Organizer
      生体医工学シンポジウム 2021
  • [Presentation] Omnidirectional Mobile Robot Path Finding Using Deep Deterministic Policy Gradient for Real Robot Control2021

    • Author(s)
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Initialization Effects for PSO Based Storage Assignment Optimization2021

    • Author(s)
      Minami Watanabe, Koya Ihara, Takuto Sakuma, Shohei Kato
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Acquisition of lip-sync expressions using transfer learning for text-to-speech emotional expression agents2021

    • Author(s)
      Shintaro Kondo, Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Emotion Recognition with Domain Adaptation Based on Few-Shot EEG Learning2021

    • Author(s)
      Shoya Furukawa, Takuto Sakuma, Shohei Kato
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Reinforcement Learning That Emerges Teamwork in Heterogeneous Multi-Agent Environment2021

    • Author(s)
      Yuki Hyodo, Takuto Sakuma, Shohei Kato
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] 物流倉庫におけるオーダーピッキングシミュレータの開発2021

    • Author(s)
      佐久間拓人, 渡邉南美, 伊原滉也, 加藤昇平
    • Organizer
      情報処理学会研究報告数理モデル化と問題解決(MPS)
  • [Presentation] SUGO-MIMI: A Waggle Ear-Type Device Linked to Eyebrows2021

    • Author(s)
      Shoko Kimura, Ayaka Fujii, Seiichi Harata, TakutoSakuma , Shohei Kato
    • Organizer
      9th International Conference on Affective Computing & Intelligent Interaction
    • Int'l Joint Research
  • [Presentation] 物流倉庫における商品の入れ替え個数を考慮した商品配置最適化2021

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 発話内容に応じて非言語応答が変化するコミュニケーションエージェントの開発2021

    • Author(s)
      河合佑里香, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 発話音声解析によるFTLDおよびADの簡易検出における認知負荷の影響2021

    • Author(s)
      花井俊哉, 加藤昇平, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 強化学習によるシミュレーションと実環境とのギャップを軽減する転移学習2021

    • Author(s)
      牛田裕斗, Hafiyanda Razan, 佐久間 拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] マルチモーダル融合と感情認識・感情空間単一化におけるContrastive Learning手法の比較2021

    • Author(s)
      原田誠一, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 少量脳波データを用いた感情推定ー感情特徴空間におけるドメイン適応の効果ー2021

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] ハンドベルの和音特徴を考慮した木構造による楽曲表現の検討2021

    • Author(s)
      甲斐川純奈, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 混合整数二次計画問題に基づく間取りの階層的生成法の検討2021

    • Author(s)
      杉浦順香, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 認知症診断支援を目的としたClock Drawing Test描画特徴による認知機能障害の重症度分類2021

    • Author(s)
      増尾明, 伊藤有生, 金岩司, 内藤光祐, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] テニススイングフォーム評価のためのプレーレベルとスイング特徴の相関分析2021

    • Author(s)
      大島脩斗, 加藤昇平, 佐久間拓人
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 高齢者コミュニティを対象とした継続的健康調査による向社会性と健康・生活・ 認知機能状態の関係2021

    • Author(s)
      竹尾淳, 増尾明, 佐久間拓人, 赤津裕康, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 3軸加速度データを用いた歩容定量評価の基礎的検討?片脚重錘負荷歩行の識別2021

    • Author(s)
      中村早希, 増尾明, 佐久間拓人, 加藤昇平
    • Organizer
      第19回情報学ワークショップ
  • [Presentation] 近赤外分光法に基づく脳血行動態変化を用いたBrain-Computer Interface構築の試み?筋萎縮性側索硬化症者の意思疎通支援?2021

    • Author(s)
      増尾明, 佐久間拓人, 加藤昇平
    • Organizer
      第20回東海北陸作業療法学会
  • [Presentation] マルチモーダル深層学習を用いた半超球面埋め込みと潜在表現単一化によるモダリティに依存しない感情認識2021

    • Author(s)
      原田誠一, 佐久間拓人, 加藤昇平
    • Organizer
      HCGシンポジウム2021

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi