• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

感性情報からユーザの嗜好を獲得するインタラクティブエージェントの実現

研究課題

研究課題/領域番号 20K19905
研究機関名古屋工業大学

研究代表者

佐久間 拓人  名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)

研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード顔表情および音声からの感情推定 / ヒューマンエージェントインタラクション
研究実績の概要

本研究は音声からの感情推定を用いてユーザの嗜好を獲得し,インタラクションにユーザの好みを反映することが出来るエージェントの構築,およびエージェントに対する印象を向上させることを目的としている.
1年次の成果として特筆すべきものは感情推定に関する技術が挙げられる.本研究課題において感情推定はユーザの嗜好学習における要素の一つであり,特に音声からの感情推定が提案システムに組み込まれている.
感情推定という問題設定において一般的なのは顔表情を用いるものと音声を用いるものである.本年度の成果として,顔表情と音声の感情認識タスクからモダリティに依らない共通の感情空間が取得できること,および共通の感情空間を利用することによる推定精度の向上を実験により示した.これにより音声を単独に用いた感情推定モデルに限定せず,マルチモーダルな感情推定モデルを提案システムに組み込むことで,推定感情の精度が上がり,感情推定による報酬獲得の信頼度向上が期待される.
そのほか,複数の生体信号を用いたストレス検出,脳波データからの感情推定,身体動作への感情付与などの研究成果を通してAffective Computingに関する知見を得られた.
一方,これまで主たる研究方法として取り組んできた,認知心理学的主観評価実験はCOVID-19の影響で面着による実験の実施自体が困難であることから,1年次は特筆する成果を残せなかった.2年次も同様の状況となることが考えられるため,感染対策を万全にした上での実験方法を考案したい.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

これまで主たる研究方法として取り組んできた,認知心理学的主観評価実験はCOVID-19の影響で面着による実験の実施が困難となり,当初の予定よりも大幅に規模を縮小した少人数による実験のみとなった.
被験者実験を伴わない感情推定モデルの構築に関する研究は進展が見られたため,やや遅れたと判断した.

今後の研究の推進方策

今後は本研究が対象としている報酬付与時の音声を用いた感情認識に取り組みたい.そのためにはデータ収集から取り組まねばならず,2020年度同様,COVID-19の影響によって面着実験の実施は困難であるため,主観評価実験無しで収集する方法を模索中である.現在は国立情報学研究所の音声資源コンソーシアムにて公開されている「感情評定値付きオンラインゲーム音声チャットコーパス (OGVC)」の利用を考えているが,より良いコーパスの探索も続けていく.
また,実機ロボットへの応用を目指したアプローチの一つとして,リアルタイムかつ直感的に実機ロボットを制御可能な技術であるAssociative Motion Generation(AMG)の改良を進める.

次年度使用額が生じた理由

当初実験用機材費,実験協力謝金および研究発表用の費用(旅費,学会参加費など)として計上していた分が全てCOVID-19の影響によって次年度繰越となった.今年度においても学会のオンライン開催が予想されるため,当初の予定よりも旅費としての計上を削減し,計算機購入費用,実験用機材費,論文投稿用費用として使用する予定である.

  • 研究成果

    (60件)

すべて 2021 2020

すべて 雑誌論文 (24件) (うち査読あり 9件) 学会発表 (36件) (うち国際学会 6件、 招待講演 1件)

  • [雑誌論文] 頚髄損傷患者のfNIRS信号を用いた機械学習による脳活動状態推定2021

    • 著者名/発表者名
      増尾 明, 花井 俊哉, 阿部 信美, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      情報処理学会第83回全国大会

      巻: 83 ページ: 2E-05

  • [雑誌論文] 高自由度ロボットの駆動関節を制限した段階的な深層強化学習2021

    • 著者名/発表者名
      鬼頭遼次 佐久間拓人, 加藤昇平
    • 雑誌名

      情報処理学会第83回全国大会

      巻: 83 ページ: 2Q-08

  • [雑誌論文] 効果的なインタラクションのための表情生成モデルの提案および性能評価2021

    • 著者名/発表者名
      近藤新太郎, 佐久間拓人, 加藤昇平
    • 雑誌名

      情報処理学会第83回全国大会

      巻: 83 ページ: 7ZF-06

  • [雑誌論文] 音読課題音声からのFTLD・ALS簡易検出モデル2021

    • 著者名/発表者名
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • 雑誌名

      情報処理学会第83回全国大会

      巻: 83 ページ: 1ZC-02

  • [雑誌論文] Speech-Based Dementia Classification for FTLD Diagnosis Support2021

    • 著者名/発表者名
      Shunya Hanai Shohei Kato Koichi Sakaguchi Takuto Sakuma Reiko Ohdake Michihito Masuda Hirohisa Watanabe
    • 雑誌名

      The 2021 IEEE 3rd Global Conference on Life Sciences and Technologies

      巻: 3 ページ: 345-347

    • 査読あり
  • [雑誌論文] 機械学習を用いたDuchenne型筋ジストロフィー患者のスイッチ操作支援-Brain-Computer Interface構築の基礎的検討-2021

    • 著者名/発表者名
      増尾明, 佐久間拓人, 加藤昇平
    • 雑誌名

      愛知作業療法

      巻: 29 ページ: 10-15

    • 査読あり
  • [雑誌論文] 精神課題遂行時の生体信号を用いた心理的ストレスの検出2021

    • 著者名/発表者名
      加賀 翔大郎, 増尾 明, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      電子情報通信学会論文誌

      巻: J104-D ページ: 151-158

    • DOI

      10.14923/transinfj.2020JDP7059.

    • 査読あり
  • [雑誌論文] モダリティを統合した認識モデルに基づく深層マルチタスク学習による感情の数理的表現2020

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      電気学会論文誌C

      巻: 140 ページ: 1343-1351

    • DOI

      10.1541/ieejeiss.140.1343

    • 査読あり
  • [雑誌論文] Toward Mathematical Representation of Emotion: A Deep Multitask Learning Method Based On Multimodal Recognition2020

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 雑誌名

      Adjunct of the 2020 International Conference on Multimodal Interaction

      巻: 33 ページ: 47-51

    • 査読あり
  • [雑誌論文] Policy Transfer from Simulation to Real World for Autonomous Control of an Omni Wheel Robot2020

    • 著者名/発表者名
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2020 IEEE 9th Global Conference on Consumer Electronics

      巻: 9 ページ: 179-181

    • 査読あり
  • [雑誌論文] Easy Detection of Rare Dementia Based on Speech Analysis2020

    • 著者名/発表者名
      Shunya Hanai, Shohei Kato, Koichi Sakaguchi, Takuto Sakuma, Reiko Ohdake, Michihito Masuda, Hirohisa Watanabe
    • 雑誌名

      2020 IEEE 9th Global Conference on Consumer Electronics

      巻: 9 ページ: 172-174

    • 査読あり
  • [雑誌論文] Emotional Space by Combining Recognition and Unification Tasks Using Multimodal DNN2020

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 雑誌名

      2020 IEEE 9th Global Conference on Consumer Electronics

      巻: 9 ページ: 179-181

    • 査読あり
  • [雑誌論文] Correlation Analysis Between Tennis Swing Features and Tennis Skillfulness Using Six-Axis Sensor2020

    • 著者名/発表者名
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • 雑誌名

      2020 IEEE 9th Global Conference on Consumer Electronics

      巻: 9 ページ: 164-165

    • 査読あり
  • [雑誌論文] RSSMによるロボット座標系における環境ダイナミクスの学習2020

    • 著者名/発表者名
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和2年度電気関係学会東海支部連合大会

      巻: - ページ: F3-1

  • [雑誌論文] 物流倉庫の商品配置最適化の ためのバスケット分析2020

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和2年度電気関係学会東海支部連合大会

      巻: - ページ: I1-5

  • [雑誌論文] 発話時間特徴と単独発話音声の音響特徴を用いた対話雰囲気推定2020

    • 著者名/発表者名
      長谷川 達也, 加藤 昇平, 佐久間 拓人
    • 雑誌名

      第22回日本感性工学会大会

      巻: 22 ページ: 90-92

  • [雑誌論文] 人型ロボットの身体動作に感情を付与するエンコーダ・デコーダ付きRNNPBモデル2020

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和2年度電気関係学会東海支部連合大会

      巻: - ページ: H5-5

  • [雑誌論文] 任意の顔画像に対して感情極性を反映したテキスト読み上げ表情生成モデルの提案2020

    • 著者名/発表者名
      近藤新太郎, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和2年度電気関係学会東海支部連合大会

      巻: - ページ: H5-2

  • [雑誌論文] 脳波の個人差を考慮した感情特徴空間の獲得2020

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 雑誌名

      令和2年度電気関係学会東海支部連合大会

      巻: - ページ: E4-1

  • [雑誌論文] 6軸センサを用いたテニススイング特徴とショット優劣の相関分析 ―テニストレーニング支援システムの実現をめざして―2020

    • 著者名/発表者名
      大島脩斗, 加藤昇平, 佐久間拓人
    • 雑誌名

      第34回人工知能学会全国大会

      巻: 34 ページ: 4K3-GS-3-03

  • [雑誌論文] 統計的信頼性保証付きの軌跡セグメンテーション2020

    • 著者名/発表者名
      戸田博己, 杉山諒太, 佐久間拓人, 水谷友一, 鈴木宏和, 依田憲, 竹内一郎
    • 雑誌名

      第34回人工知能学会全国大会

      巻: 34 ページ: 2C4-OS-7a-04

  • [雑誌論文] 転移学習によりシミュレーションと実環境の差異を軽減するオムニホイールロボットの自律行動制御2020

    • 著者名/発表者名
      牛田 裕斗, 石津谷 駿汰, Hafiyanda Razan, 加藤 昇平, 佐久間 拓人
    • 雑誌名

      第34回人工知能学会全国大会

      巻: 34 ページ: 1Q4-GS-11-04

  • [雑誌論文] 発話音響特徴のアンサンブル学習による認知症希少疾患の簡易検出2020

    • 著者名/発表者名
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • 雑誌名

      第34回人工知能学会全国大会

      巻: 34 ページ: 1C5-GS-13-02

  • [雑誌論文] モダリティを統合したDNNによる感情の数理的表現 ―感情空間の次元数が認識・単一化タスク性能にもたらす影響―2020

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 雑誌名

      第34回人工知能学会全国大会

      巻: 34 ページ: 4F2-OS-25a-02

  • [学会発表] Speech-Based Dementia Classification for FTLD Diagnosis Support2021

    • 著者名/発表者名
      Shunya Hanai Shohei Kato Koichi Sakaguchi Takuto Sakuma Reiko Ohdake Michihito Masuda Hirohisa Watanabe
    • 学会等名
      The 2021 IEEE 3rd Global Conference on Life Sciences and Technologies
    • 国際学会
  • [学会発表] 頚髄損傷患者のfNIRS信号を用いた機械学習による脳活動状態推定2021

    • 著者名/発表者名
      増尾 明, 花井 俊哉, 阿部 信美, 佐久間 拓人, 加藤 昇平
    • 学会等名
      情報処理学会第83回全国大会
  • [学会発表] 音読課題音声からのFTLD・ALS簡易検出モデル2021

    • 著者名/発表者名
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • 学会等名
      情報処理学会第83回全国大会
  • [学会発表] 効果的なインタラクションのための表情生成モデルの提案および性能評価2021

    • 著者名/発表者名
      近藤新太郎, 佐久間拓人, 加藤昇平
    • 学会等名
      情報処理学会第83回全国大会
  • [学会発表] 高自由度ロボットの駆動関節を制限した段階的な深層強化学習2021

    • 著者名/発表者名
      鬼頭遼次 佐久間拓人, 加藤昇平
    • 学会等名
      情報処理学会第83回全国大会
  • [学会発表] Toward Mathematical Representation of Emotion: A Deep Multitask Learning Method Based On Multimodal Recognition2020

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 学会等名
      Adjunct of the 2020 International Conference on Multimodal Interaction
    • 国際学会
  • [学会発表] 統計的信頼性保証付きの軌跡セグメンテーション2020

    • 著者名/発表者名
      戸田博己, 杉山諒太, 佐久間拓人, 水谷友一, 鈴木宏和, 依田憲, 竹内一郎
    • 学会等名
      第34回人工知能学会全国大会
  • [学会発表] 6軸センサを用いたテニススイング特徴とショット優劣の相関分析 ―テニストレーニング支援システムの実現をめざして―2020

    • 著者名/発表者名
      大島脩斗, 加藤昇平, 佐久間拓人
    • 学会等名
      第34回人工知能学会全国大会
  • [学会発表] モダリティを統合したDNNによる感情の数理的表現 ―感情空間の次元数が認識・単一化タスク性能にもたらす影響―2020

    • 著者名/発表者名
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • 学会等名
      第34回人工知能学会全国大会
  • [学会発表] 発話音響特徴のアンサンブル学習による認知症希少疾患の簡易検出2020

    • 著者名/発表者名
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • 学会等名
      第34回人工知能学会全国大会
  • [学会発表] 転移学習によりシミュレーションと実環境の差異を軽減するオムニホイールロボットの自律行動制御2020

    • 著者名/発表者名
      牛田 裕斗, 石津谷 駿汰, Hafiyanda Razan, 加藤 昇平, 佐久間 拓人
    • 学会等名
      第34回人工知能学会全国大会
  • [学会発表] 物流倉庫の商品配置最適化の ためのバスケット分析2020

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 学会等名
      令和2年度電気関係学会東海支部連合大会
  • [学会発表] RSSMによるロボット座標系における環境ダイナミクスの学習2020

    • 著者名/発表者名
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • 学会等名
      令和2年度電気関係学会東海支部連合大会
  • [学会発表] 脳波の個人差を考慮した感情特徴空間の獲得2020

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 学会等名
      令和2年度電気関係学会東海支部連合大会
  • [学会発表] 任意の顔画像に対して感情極性を反映したテキスト読み上げ表情生成モデルの提案2020

    • 著者名/発表者名
      近藤新太郎, 佐久間拓人, 加藤昇平
    • 学会等名
      令和2年度電気関係学会東海支部連合大会
  • [学会発表] 人型ロボットの身体動作に感情を付与するエンコーダ・デコーダ付きRNNPBモデル2020

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 学会等名
      令和2年度電気関係学会東海支部連合大会
  • [学会発表] Correlation Analysis Between Tennis Swing Features and Tennis Skillfulness Using Six-Axis Sensor2020

    • 著者名/発表者名
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • 学会等名
      2020 IEEE 9th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Policy Transfer from Simulation to Real World for Autonomous Control of an Omni Wheel Robot2020

    • 著者名/発表者名
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • 学会等名
      2020 IEEE 9th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Easy Detection of Rare Dementia Based on Speech Analysis2020

    • 著者名/発表者名
      Shunya Hanai, Shohei Kato, Koichi Sakaguchi, Takuto Sakuma, Reiko Ohdake, Michihito Masuda, Hirohisa Watanabe
    • 学会等名
      2020 IEEE 9th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] Emotional Space by Combining Recognition and Unification Tasks Using Multimodal DNN2020

    • 著者名/発表者名
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • 学会等名
      2020 IEEE 9th Global Conference on Consumer Electronics
    • 国際学会
  • [学会発表] 発話時間特徴と単独発話音声の音響特徴を用いた対話雰囲気推定2020

    • 著者名/発表者名
      長谷川 達也, 加藤 昇平, 佐久間 拓人
    • 学会等名
      第22回日本感性工学会大会
  • [学会発表] モダリティを融合した深層マルチタスク学習による感情空間 ―モダリティ間の一致性から見る低次元表現―2020

    • 著者名/発表者名
      原田誠一, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] FTLD診断支援を目的とした発話音声による認知症疾患分類モデル2020

    • 著者名/発表者名
      花井俊哉, 加藤昇平, 坂口巧一, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 転移学習によりシミュレーションと実環境の差異を軽減する自律移動型ロボットの行動制御2020

    • 著者名/発表者名
      牛田裕斗, Hafiyanda Razan, 石津谷駿汰, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 相関分析によるテニススイング特徴の有用性評価2020

    • 著者名/発表者名
      大島脩斗, 加藤昇平, 佐久間拓人
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 人型ロボットの感情付与モデルのための動作特徴と表出感情の関係分析2020

    • 著者名/発表者名
      井上結加里, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 離散粒子群最適化を用いた物流倉庫の商品配置の一検討2020

    • 著者名/発表者名
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 能力差のあるマルチエージェント環境下の強化学習による協調タスクの実現?2020

    • 著者名/発表者名
      兵藤佑輝, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 少量の脳波データを用いたドメイン適応により個人差を吸収する感情推定モデル2020

    • 著者名/発表者名
      古川翔也, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 自動生成された感情付き表情点に対する定量評価の一手法2020

    • 著者名/発表者名
      近藤新太郎, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 対話中の割込発話を考慮した音声からの対話雰囲気推定2020

    • 著者名/発表者名
      長谷川達也, 加藤昇平, 佐久間拓人
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 音響・言語特徴を用いた音読課題音声からのFTLD・ALS検出2020

    • 著者名/発表者名
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田直人, 渡辺宏久
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 深層強化学習にファインチューニングを導入した高自由度ロボットの多段階運動学習2020

    • 著者名/発表者名
      鬼頭遼次, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] Lidar観測の潜在空間と行動系列を用いた部分観測予測2020

    • 著者名/発表者名
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] 頚髄損傷者のリハビリテーション支援を目的としたBrain-computer Interface構築の試み2020

    • 著者名/発表者名
      増尾明, 阿部信美, 佐久間拓人, 加藤昇平
    • 学会等名
      第18回情報学ワークショップ
  • [学会発表] Pythonで学ぶ機械学習+Deep Learning Framework2020

    • 著者名/発表者名
      佐久間拓人
    • 学会等名
      第1回インダストリアルAIシンポジウム
    • 招待講演

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi