• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Remote communication support interface of naturally conveys the work of the mind

Research Project

Project/Area Number 21K17841
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61060:Kansei informatics-related
Research InstitutionThe University of Electro-Communications (2023)
Gunma University (2021-2022)

Principal Investigator

Matsuno Shogo  電気通信大学, 大学院情報理工学研究科, 准教授 (60836245)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Keywords視線計測 / コミュニケーション支援 / マルチモーダルインタフェース / バーチャルリアリティ / 共感性 / 対話インタフェース / 遠隔コミュニケーション / マルチモーダルインタラクション / 対話システム
Outline of Research at the Start

本研究は非言語情報によるインタラクションを感性情報によって活性化する感性インタフェースの基盤技術開発を目的とする.遠隔・仮想空間コミュニケーションで欠落してしまう非言語インタラクションを話者の感性情報の表出によって復元することで,遠隔・仮想空間コミュニケーションの質的向上を目指す.感性情報は計測した生体情報から推定し,フィードバックを与えることで,非言語インタラクションの活性化と情報の相互共有を促す.遠隔コミュニケーションにおける感性情報伝達技術を展開できれば,次世代テレコミュニケーションの基盤技術として,遠隔での社会的コミュニケーションを実空間と同等のチャネルへと引き上げる可能性を備える.

Outline of Final Research Achievements

We developed a human interface for remote communication that activates nonverbal interaction and promotes mutual sharing of information and qualitative improvement of communication by estimating changes in the user's emotions and attitudes based on measured biometric information and providing feedback to communication as sensory information. Moreover, we established a quantitative evaluation index of emotional information transfer in remote communication and developed an input interface that supports communication in a virtual space using the index.

Academic Significance and Societal Importance of the Research Achievements

パンデミックにより遠隔コミュニケーションの重要性が増した現代において,仮想空間におけるコミュニケーション手段の重要性は高まっている. 仮想空間では現実空間と遜色のないコミュニケーションを期待されるが,現実には技術的制約から現実のような繊細な感情の機微を伝えることは困難である.本研究の成果として,眼球運動を計測することで集中,緊張といった心理状態の推定が可能であることを明らかにしたため,仮想空間におけるコミュニケーションデザインにおいて,随意的なコマンドによる感情表現をせずとも非随意な生理指標によって感情表現を行うことで,自然なコミュニケーションを促進する効果を期待できる.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (8 results)

All 2023 2022

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (6 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Detailed Analysis of Blink Types Classification Using a 3D Convolutional Neural Network2023

    • Author(s)
      佐藤 寛修, 阿部 清彦, 松野 省吾, 大山 実
    • Journal Title

      IEEJ Transactions on Electronics, Information and Systems

      Volume: 143 Issue: 9 Pages: 971-978

    • DOI

      10.1541/ieejeiss.143.971

    • ISSN
      0385-4221, 1348-8155
    • Year and Date
      2023-09-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 水平作業台ディスプレイにおける作業者の注視点推定システム2022

    • Author(s)
      山田 孟, 杉 正夫, 長野 真大, 中嶋 良介, 仲田 知弘, 松野 省吾, 岡本 一志, 山田 哲男
    • Journal Title

      日本設備管理学会誌

      Volume: 34 Pages: 8-14

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] Detection of Voluntary Eye Movement for Analysis About Eye Gaze Behaviour in Virtual Communication2023

    • Author(s)
      Shogo Matsuno
    • Organizer
      25th HCI International Conference 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gaze Direction Classification Using Vision Transformer2023

    • Author(s)
      Shogo Matsuno, Daiki Niikura, Kiyohiko Abe
    • Organizer
      14th International Conference on Smart Computing and Artificial Intelligence
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 最頻値をもちいた3DCNN瞬目種類識別の出力補正法の検討2023

    • Author(s)
      佐藤寛修, 阿部清彦, 松野省吾, 大山実
    • Organizer
      2023年電気学会電子・情報・システム部門大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Detection of Voluntary Eye Movement for Analysis about Eye Gaze Behaviour in Virtual Communication2023

    • Author(s)
      Shogo Matsuno
    • Organizer
      HCI International 2023
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 3次元モーションデータの深層学習による作業者分類の精度に関する一考察2023

    • Author(s)
      川根龍人, 伊集院大将, 杉正夫, 中嶋良介, 仲田知弘, 岡本一志, 松野省吾, 山田哲男
    • Organizer
      2023年度精密工学会春季大会
    • Related Report
      2022 Research-status Report
  • [Presentation] 水平作業台ディスプレイのための複数カメラに基づく視線位置推定システム2023

    • Author(s)
      長野 真大, 石田 和貴, 中嶋 良介, 仲田 知弘, 松野 省吾, 岡本 一志, 山田 周歩, 山田 哲男, 杉 正夫
    • Organizer
      2023年度精密工学会春季大会
    • Related Report
      2022 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi