• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

感性情報からユーザの嗜好を獲得するインタラクティブエージェントの実現

Research Project

Project/Area Number 20K19905
Research InstitutionNagoya Institute of Technology

Principal Investigator

佐久間 拓人  名古屋工業大学, 工学(系)研究科(研究院), 助教 (20753627)

Project Period (FY) 2020-04-01 – 2024-03-31
Keywords顔表情および音声からの感情推定 / ヒューマンエージェントインタラクション
Outline of Annual Research Achievements

本研究は音声からの感情推定を用いてユーザの嗜好を獲得し,インタラクションにユーザの好みを反映することが出来るエージェントの構築,およびエージェントに対する印象を向上させることを目的としている.
1年次の成果として特筆すべきものは感情推定に関する技術が挙げられる.本研究課題において感情推定はユーザの嗜好学習における要素の一つであり,特に音声からの感情推定が提案システムに組み込まれている.
感情推定という問題設定において一般的なのは顔表情を用いるものと音声を用いるものである.本年度の成果として,顔表情と音声の感情認識タスクからモダリティに依らない共通の感情空間が取得できること,および共通の感情空間を利用することによる推定精度の向上を実験により示した.これにより音声を単独に用いた感情推定モデルに限定せず,マルチモーダルな感情推定モデルを提案システムに組み込むことで,推定感情の精度が上がり,感情推定による報酬獲得の信頼度向上が期待される.
そのほか,複数の生体信号を用いたストレス検出,脳波データからの感情推定,身体動作への感情付与などの研究成果を通してAffective Computingに関する知見を得られた.
一方,これまで主たる研究方法として取り組んできた,認知心理学的主観評価実験はCOVID-19の影響で面着による実験の実施自体が困難であることから,1年次は特筆する成果を残せなかった.2年次も同様の状況となることが考えられるため,感染対策を万全にした上での実験方法を考案したい.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

これまで主たる研究方法として取り組んできた,認知心理学的主観評価実験はCOVID-19の影響で面着による実験の実施が困難となり,当初の予定よりも大幅に規模を縮小した少人数による実験のみとなった.
被験者実験を伴わない感情推定モデルの構築に関する研究は進展が見られたため,やや遅れたと判断した.

Strategy for Future Research Activity

今後は本研究が対象としている報酬付与時の音声を用いた感情認識に取り組みたい.そのためにはデータ収集から取り組まねばならず,2020年度同様,COVID-19の影響によって面着実験の実施は困難であるため,主観評価実験無しで収集する方法を模索中である.現在は国立情報学研究所の音声資源コンソーシアムにて公開されている「感情評定値付きオンラインゲーム音声チャットコーパス (OGVC)」の利用を考えているが,より良いコーパスの探索も続けていく.
また,実機ロボットへの応用を目指したアプローチの一つとして,リアルタイムかつ直感的に実機ロボットを制御可能な技術であるAssociative Motion Generation(AMG)の改良を進める.

Causes of Carryover

当初実験用機材費,実験協力謝金および研究発表用の費用(旅費,学会参加費など)として計上していた分が全てCOVID-19の影響によって次年度繰越となった.今年度においても学会のオンライン開催が予想されるため,当初の予定よりも旅費としての計上を削減し,計算機購入費用,実験用機材費,論文投稿用費用として使用する予定である.

  • Research Products

    (60 results)

All 2021 2020

All Journal Article (24 results) (of which Peer Reviewed: 9 results) Presentation (36 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results)

  • [Journal Article] 頚髄損傷患者のfNIRS信号を用いた機械学習による脳活動状態推定2021

    • Author(s)
      増尾 明, 花井 俊哉, 阿部 信美, 佐久間 拓人, 加藤 昇平
    • Journal Title

      情報処理学会第83回全国大会

      Volume: 83 Pages: 2E-05

  • [Journal Article] 高自由度ロボットの駆動関節を制限した段階的な深層強化学習2021

    • Author(s)
      鬼頭遼次 佐久間拓人, 加藤昇平
    • Journal Title

      情報処理学会第83回全国大会

      Volume: 83 Pages: 2Q-08

  • [Journal Article] 効果的なインタラクションのための表情生成モデルの提案および性能評価2021

    • Author(s)
      近藤新太郎, 佐久間拓人, 加藤昇平
    • Journal Title

      情報処理学会第83回全国大会

      Volume: 83 Pages: 7ZF-06

  • [Journal Article] 音読課題音声からのFTLD・ALS簡易検出モデル2021

    • Author(s)
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • Journal Title

      情報処理学会第83回全国大会

      Volume: 83 Pages: 1ZC-02

  • [Journal Article] Speech-Based Dementia Classification for FTLD Diagnosis Support2021

    • Author(s)
      Shunya Hanai Shohei Kato Koichi Sakaguchi Takuto Sakuma Reiko Ohdake Michihito Masuda Hirohisa Watanabe
    • Journal Title

      The 2021 IEEE 3rd Global Conference on Life Sciences and Technologies

      Volume: 3 Pages: 345-347

    • Peer Reviewed
  • [Journal Article] 機械学習を用いたDuchenne型筋ジストロフィー患者のスイッチ操作支援-Brain-Computer Interface構築の基礎的検討-2021

    • Author(s)
      増尾明, 佐久間拓人, 加藤昇平
    • Journal Title

      愛知作業療法

      Volume: 29 Pages: 10-15

    • Peer Reviewed
  • [Journal Article] 精神課題遂行時の生体信号を用いた心理的ストレスの検出2021

    • Author(s)
      加賀 翔大郎, 増尾 明, 佐久間 拓人, 加藤 昇平
    • Journal Title

      電子情報通信学会論文誌

      Volume: J104-D Pages: 151-158

    • DOI

      10.14923/transinfj.2020JDP7059.

    • Peer Reviewed
  • [Journal Article] モダリティを統合した認識モデルに基づく深層マルチタスク学習による感情の数理的表現2020

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Journal Title

      電気学会論文誌C

      Volume: 140 Pages: 1343-1351

    • DOI

      10.1541/ieejeiss.140.1343

    • Peer Reviewed
  • [Journal Article] Toward Mathematical Representation of Emotion: A Deep Multitask Learning Method Based On Multimodal Recognition2020

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Journal Title

      Adjunct of the 2020 International Conference on Multimodal Interaction

      Volume: 33 Pages: 47-51

    • Peer Reviewed
  • [Journal Article] Policy Transfer from Simulation to Real World for Autonomous Control of an Omni Wheel Robot2020

    • Author(s)
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • Journal Title

      2020 IEEE 9th Global Conference on Consumer Electronics

      Volume: 9 Pages: 179-181

    • Peer Reviewed
  • [Journal Article] Easy Detection of Rare Dementia Based on Speech Analysis2020

    • Author(s)
      Shunya Hanai, Shohei Kato, Koichi Sakaguchi, Takuto Sakuma, Reiko Ohdake, Michihito Masuda, Hirohisa Watanabe
    • Journal Title

      2020 IEEE 9th Global Conference on Consumer Electronics

      Volume: 9 Pages: 172-174

    • Peer Reviewed
  • [Journal Article] Emotional Space by Combining Recognition and Unification Tasks Using Multimodal DNN2020

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Journal Title

      2020 IEEE 9th Global Conference on Consumer Electronics

      Volume: 9 Pages: 179-181

    • Peer Reviewed
  • [Journal Article] Correlation Analysis Between Tennis Swing Features and Tennis Skillfulness Using Six-Axis Sensor2020

    • Author(s)
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • Journal Title

      2020 IEEE 9th Global Conference on Consumer Electronics

      Volume: 9 Pages: 164-165

    • Peer Reviewed
  • [Journal Article] RSSMによるロボット座標系における環境ダイナミクスの学習2020

    • Author(s)
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • Journal Title

      令和2年度電気関係学会東海支部連合大会

      Volume: - Pages: F3-1

  • [Journal Article] 物流倉庫の商品配置最適化の ためのバスケット分析2020

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Journal Title

      令和2年度電気関係学会東海支部連合大会

      Volume: - Pages: I1-5

  • [Journal Article] 発話時間特徴と単独発話音声の音響特徴を用いた対話雰囲気推定2020

    • Author(s)
      長谷川 達也, 加藤 昇平, 佐久間 拓人
    • Journal Title

      第22回日本感性工学会大会

      Volume: 22 Pages: 90-92

  • [Journal Article] 人型ロボットの身体動作に感情を付与するエンコーダ・デコーダ付きRNNPBモデル2020

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Journal Title

      令和2年度電気関係学会東海支部連合大会

      Volume: - Pages: H5-5

  • [Journal Article] 任意の顔画像に対して感情極性を反映したテキスト読み上げ表情生成モデルの提案2020

    • Author(s)
      近藤新太郎, 佐久間拓人, 加藤昇平
    • Journal Title

      令和2年度電気関係学会東海支部連合大会

      Volume: - Pages: H5-2

  • [Journal Article] 脳波の個人差を考慮した感情特徴空間の獲得2020

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Journal Title

      令和2年度電気関係学会東海支部連合大会

      Volume: - Pages: E4-1

  • [Journal Article] 6軸センサを用いたテニススイング特徴とショット優劣の相関分析 ―テニストレーニング支援システムの実現をめざして―2020

    • Author(s)
      大島脩斗, 加藤昇平, 佐久間拓人
    • Journal Title

      第34回人工知能学会全国大会

      Volume: 34 Pages: 4K3-GS-3-03

  • [Journal Article] 統計的信頼性保証付きの軌跡セグメンテーション2020

    • Author(s)
      戸田博己, 杉山諒太, 佐久間拓人, 水谷友一, 鈴木宏和, 依田憲, 竹内一郎
    • Journal Title

      第34回人工知能学会全国大会

      Volume: 34 Pages: 2C4-OS-7a-04

  • [Journal Article] 転移学習によりシミュレーションと実環境の差異を軽減するオムニホイールロボットの自律行動制御2020

    • Author(s)
      牛田 裕斗, 石津谷 駿汰, Hafiyanda Razan, 加藤 昇平, 佐久間 拓人
    • Journal Title

      第34回人工知能学会全国大会

      Volume: 34 Pages: 1Q4-GS-11-04

  • [Journal Article] 発話音響特徴のアンサンブル学習による認知症希少疾患の簡易検出2020

    • Author(s)
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • Journal Title

      第34回人工知能学会全国大会

      Volume: 34 Pages: 1C5-GS-13-02

  • [Journal Article] モダリティを統合したDNNによる感情の数理的表現 ―感情空間の次元数が認識・単一化タスク性能にもたらす影響―2020

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Journal Title

      第34回人工知能学会全国大会

      Volume: 34 Pages: 4F2-OS-25a-02

  • [Presentation] Speech-Based Dementia Classification for FTLD Diagnosis Support2021

    • Author(s)
      Shunya Hanai Shohei Kato Koichi Sakaguchi Takuto Sakuma Reiko Ohdake Michihito Masuda Hirohisa Watanabe
    • Organizer
      The 2021 IEEE 3rd Global Conference on Life Sciences and Technologies
    • Int'l Joint Research
  • [Presentation] 頚髄損傷患者のfNIRS信号を用いた機械学習による脳活動状態推定2021

    • Author(s)
      増尾 明, 花井 俊哉, 阿部 信美, 佐久間 拓人, 加藤 昇平
    • Organizer
      情報処理学会第83回全国大会
  • [Presentation] 音読課題音声からのFTLD・ALS簡易検出モデル2021

    • Author(s)
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • Organizer
      情報処理学会第83回全国大会
  • [Presentation] 効果的なインタラクションのための表情生成モデルの提案および性能評価2021

    • Author(s)
      近藤新太郎, 佐久間拓人, 加藤昇平
    • Organizer
      情報処理学会第83回全国大会
  • [Presentation] 高自由度ロボットの駆動関節を制限した段階的な深層強化学習2021

    • Author(s)
      鬼頭遼次 佐久間拓人, 加藤昇平
    • Organizer
      情報処理学会第83回全国大会
  • [Presentation] Toward Mathematical Representation of Emotion: A Deep Multitask Learning Method Based On Multimodal Recognition2020

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Organizer
      Adjunct of the 2020 International Conference on Multimodal Interaction
    • Int'l Joint Research
  • [Presentation] 統計的信頼性保証付きの軌跡セグメンテーション2020

    • Author(s)
      戸田博己, 杉山諒太, 佐久間拓人, 水谷友一, 鈴木宏和, 依田憲, 竹内一郎
    • Organizer
      第34回人工知能学会全国大会
  • [Presentation] 6軸センサを用いたテニススイング特徴とショット優劣の相関分析 ―テニストレーニング支援システムの実現をめざして―2020

    • Author(s)
      大島脩斗, 加藤昇平, 佐久間拓人
    • Organizer
      第34回人工知能学会全国大会
  • [Presentation] モダリティを統合したDNNによる感情の数理的表現 ―感情空間の次元数が認識・単一化タスク性能にもたらす影響―2020

    • Author(s)
      原田 誠一, 佐久間 拓人, 加藤 昇平
    • Organizer
      第34回人工知能学会全国大会
  • [Presentation] 発話音響特徴のアンサンブル学習による認知症希少疾患の簡易検出2020

    • Author(s)
      花井 俊哉, 加藤 昇平, 坂口 巧一, 佐久間 拓人, 大嶽 れい子, 桝田 道人, 渡辺 宏久
    • Organizer
      第34回人工知能学会全国大会
  • [Presentation] 転移学習によりシミュレーションと実環境の差異を軽減するオムニホイールロボットの自律行動制御2020

    • Author(s)
      牛田 裕斗, 石津谷 駿汰, Hafiyanda Razan, 加藤 昇平, 佐久間 拓人
    • Organizer
      第34回人工知能学会全国大会
  • [Presentation] 物流倉庫の商品配置最適化の ためのバスケット分析2020

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Organizer
      令和2年度電気関係学会東海支部連合大会
  • [Presentation] RSSMによるロボット座標系における環境ダイナミクスの学習2020

    • Author(s)
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • Organizer
      令和2年度電気関係学会東海支部連合大会
  • [Presentation] 脳波の個人差を考慮した感情特徴空間の獲得2020

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Organizer
      令和2年度電気関係学会東海支部連合大会
  • [Presentation] 任意の顔画像に対して感情極性を反映したテキスト読み上げ表情生成モデルの提案2020

    • Author(s)
      近藤新太郎, 佐久間拓人, 加藤昇平
    • Organizer
      令和2年度電気関係学会東海支部連合大会
  • [Presentation] 人型ロボットの身体動作に感情を付与するエンコーダ・デコーダ付きRNNPBモデル2020

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Organizer
      令和2年度電気関係学会東海支部連合大会
  • [Presentation] Correlation Analysis Between Tennis Swing Features and Tennis Skillfulness Using Six-Axis Sensor2020

    • Author(s)
      Shuto Ohshima, Shohei Kato, Takuto Sakuma
    • Organizer
      2020 IEEE 9th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Policy Transfer from Simulation to Real World for Autonomous Control of an Omni Wheel Robot2020

    • Author(s)
      Yuto Ushida, Hafiyanda Razan, Takuto Sakuma, Shohei Kato
    • Organizer
      2020 IEEE 9th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Easy Detection of Rare Dementia Based on Speech Analysis2020

    • Author(s)
      Shunya Hanai, Shohei Kato, Koichi Sakaguchi, Takuto Sakuma, Reiko Ohdake, Michihito Masuda, Hirohisa Watanabe
    • Organizer
      2020 IEEE 9th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Emotional Space by Combining Recognition and Unification Tasks Using Multimodal DNN2020

    • Author(s)
      Seiichi Harata, Takuto Sakuma, Shohei Kato
    • Organizer
      2020 IEEE 9th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] 発話時間特徴と単独発話音声の音響特徴を用いた対話雰囲気推定2020

    • Author(s)
      長谷川 達也, 加藤 昇平, 佐久間 拓人
    • Organizer
      第22回日本感性工学会大会
  • [Presentation] モダリティを融合した深層マルチタスク学習による感情空間 ―モダリティ間の一致性から見る低次元表現―2020

    • Author(s)
      原田誠一, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] FTLD診断支援を目的とした発話音声による認知症疾患分類モデル2020

    • Author(s)
      花井俊哉, 加藤昇平, 坂口巧一, 佐久間拓人, 大嶽れい子, 桝田道人, 渡辺宏久
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 転移学習によりシミュレーションと実環境の差異を軽減する自律移動型ロボットの行動制御2020

    • Author(s)
      牛田裕斗, Hafiyanda Razan, 石津谷駿汰, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 相関分析によるテニススイング特徴の有用性評価2020

    • Author(s)
      大島脩斗, 加藤昇平, 佐久間拓人
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 人型ロボットの感情付与モデルのための動作特徴と表出感情の関係分析2020

    • Author(s)
      井上結加里, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 離散粒子群最適化を用いた物流倉庫の商品配置の一検討2020

    • Author(s)
      渡邉南美, 伊原滉也, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 能力差のあるマルチエージェント環境下の強化学習による協調タスクの実現?2020

    • Author(s)
      兵藤佑輝, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 少量の脳波データを用いたドメイン適応により個人差を吸収する感情推定モデル2020

    • Author(s)
      古川翔也, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 自動生成された感情付き表情点に対する定量評価の一手法2020

    • Author(s)
      近藤新太郎, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 対話中の割込発話を考慮した音声からの対話雰囲気推定2020

    • Author(s)
      長谷川達也, 加藤昇平, 佐久間拓人
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 音響・言語特徴を用いた音読課題音声からのFTLD・ALS検出2020

    • Author(s)
      坂口巧一, 加藤昇平, 花井俊哉, 佐久間拓人, 大嶽れい子, 桝田直人, 渡辺宏久
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 深層強化学習にファインチューニングを導入した高自由度ロボットの多段階運動学習2020

    • Author(s)
      鬼頭遼次, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] Lidar観測の潜在空間と行動系列を用いた部分観測予測2020

    • Author(s)
      石津谷駿汰, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] 頚髄損傷者のリハビリテーション支援を目的としたBrain-computer Interface構築の試み2020

    • Author(s)
      増尾明, 阿部信美, 佐久間拓人, 加藤昇平
    • Organizer
      第18回情報学ワークショップ
  • [Presentation] Pythonで学ぶ機械学習+Deep Learning Framework2020

    • Author(s)
      佐久間拓人
    • Organizer
      第1回インダストリアルAIシンポジウム
    • Invited

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi