• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An interface to feel the relationship with a remote person by entrainment interaction using information from the eyes, nose and mouth

Research Project

Project/Area Number 19K12082
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionOkayama Prefectural University

Principal Investigator

ITO TERUAKI  岡山県立大学, 情報工学部, 教授 (90284306)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2020: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2019: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Keywordsヒューマンインタフェース / コミュニケーションロボット / かかわり / 身体的引き込み / 運動強調ディスプレイ / ロボットアーム / ジェスチャ / 臨場感コミュニケーション / AIスピーカ
Outline of Research at the Start

本研究は、身体的引き込み動作を用いる運動強調ディスプレイを介した遠隔コミュニケーション手法により、遠隔者とのかかわりを感じさせるコミュニケーション支援システムに関する研究である。先行研究で行った頭部動作駆動方式による運動強調ディスプレイの弱点となる無動作状態への対応のため、物理的な身体運動を直接利用することに加えて、人の生体情報(目・鼻・口)を利用することで間接的に身体動作と関連づけを行う手法を提案する。

Outline of Final Research Achievements

This study proposed a method to control the motion emphasis display by the head and body movement, which is nonverbal information used in face-to-face communication, and to feel the relationship with a remote person by the movement. This study developed a control method using eye movement information (eyes) by eye movement measurement, head movement information (nose) by image analysis, and voice information (mouth) by signal analysis in combination with head body movement. As a result, entrainment interaction that feels the relationship with the remote person was recognized.

Academic Significance and Societal Importance of the Research Achievements

本研究は、遠隔コミュニケーションシステムにおいて、遠隔者の分身として目の前で動作する運動強調ディスプレイという極めてユニークな提案を行っており、学術的に独創性の高い研究である。ディスプレイを通した会話では、話者の存在感が伝わらない、場の雰囲気が共有できない、遠隔者とのかかわり合いを感じないといった根本的な問題に対する取り組みとして、学術的・社会的に意義が深いものである。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (27 results)

All 2021 2020 2019

All Journal Article (9 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 8 results,  Open Access: 1 results) Presentation (18 results) (of which Int'l Joint Research: 3 results,  Invited: 3 results)

  • [Journal Article] Smart Speaker Interaction Through ARM-COMS for Health Monitoring Platform2021

    • Author(s)
      Ito Teruaki、Oyama Takashi、Watanabe Tomio
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 12766 Pages: 396-405

    • DOI

      10.1007/978-3-030-78361-7_30

    • ISBN
      9783030783600, 9783030783617
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Ergonomic Design for Assembly Manufacturing Workstation Based on Universal Design Principles2021

    • Author(s)
      Hambali Ruzy Haryati、Mohamad Effendi、Ito Teruaki
    • Journal Title

      Lecture Notes in Networks and Systems

      Volume: 260 Pages: 870-877

    • DOI

      10.1007/978-3-030-80829-7_106

    • ISBN
      9783030808280, 9783030808297
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Speech Recognition Approach for Motion-Enhanced Display in ARM-COMS System2020

    • Author(s)
      Ito Teruaki、Oyama Takashi、Watanabe Tomio
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 12424 Pages: 135-144

    • DOI

      10.1007/978-3-030-60117-1_10

    • ISBN
      9783030601164, 9783030601171
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Motor Control of Hand Force for Visual Indicator Without Hand Displacement2020

    • Author(s)
      Oyama Takashi、Ito Teruaki
    • Journal Title

      Advances in Industrial Design

      Volume: 1202 Pages: 907-912

    • DOI

      10.1007/978-3-030-51194-4_117

    • ISBN
      9783030511937, 9783030511944
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Internet of things and simulation approach for decision support system in lean manufacturing2020

    • Author(s)
      ITO Teruaki、RAHMAN Mohd Soufhwee ABD、MOHAMAD Effendi、RAHMAN Azrul Azwan ABD、SALLEH Mohd Rizal
    • Journal Title

      Journal of Advanced Mechanical Design, Systems, and Manufacturing

      Volume: 14 Issue: 2 Pages: JAMDSM0027-JAMDSM0027

    • DOI

      10.1299/jamdsm.2020jamdsm0027

    • NAID

      130007814581

    • ISSN
      1881-3054
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Combination of Local Interaction with Remote Interaction in ARM-COMS Communication2019

    • Author(s)
      Ito Teruaki、Kimachi Hiroki、Watanabe Tomio
    • Journal Title

      Human Interface and the Management of Information. Information in Intelligent Systems

      Volume: 11570 Pages: 347-356

    • DOI

      10.1007/978-3-030-22649-7_28

    • ISBN
      9783030226480, 9783030226497
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Shape definition and parameters validation through sheet metal feature for CNC dental wire bending2019

    • Author(s)
      Hamid Rahimah Abdul、Ito Teruaki
    • Journal Title

      International Journal of Computer Aided Engineering and Technology

      Volume: 11 Issue: 6 Pages: 763-763

    • DOI

      10.1504/ijcaet.2019.102519

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Journal Article] アクティブディスプレイのためのロボットアームインタラクション2019

    • Author(s)
      伊藤照明
    • Journal Title

      設計工学

      Volume: 54 Pages: 729-734

    • Related Report
      2019 Research-status Report
  • [Journal Article] A proposal of integrated worker-monitoring system towards ergonomic manufacturing environment2019

    • Author(s)
      Ito Teruaki、Kamat Seri Rahayu
    • Journal Title

      International Journal of Agile Systems and Management

      Volume: 12 Issue: 4 Pages: 437-437

    • DOI

      10.1504/ijasm.2019.104596

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] Smart Speaker Interaction Through ARM-COMS for Health Monitoring Platform2021

    • Author(s)
      Teruaki Ito, Takashi Oyama, Tomio Watanabe
    • Organizer
      International Conference on Human-Computer Interaction
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 対話型ロボットの動作に対する感性評価のためのシミュレーションモデル2021

    • Author(s)
      三澤 秀斗、大山 剛史、Effendi MOHAMAD、伊藤 照明
    • Organizer
      第31回設計工学・システム部門講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 無疲労 LED 照明による感性認知2020

    • Author(s)
      伊藤照明
    • Organizer
      2020年度日本機械学会年次大会
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] 触覚デバイスによる粘性力場がフィッツの法則に与える影響2020

    • Author(s)
      大山剛史、中川千怜、伊藤照明
    • Organizer
      2020年度(第70回)電気・情報関連学会中国支部連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] スマートピカ・インタフェースを介した健康管理 IoT システム2020

    • Author(s)
      伊藤 照明, 定金 賢吾, 大山 剛史
    • Organizer
      2020年度(第70回)電気・情報関連学会中国支部連合大会
    • Related Report
      2020 Research-status Report
  • [Presentation] 反復タッピング運動においてフィッツの法則に影響を与えるパラメータ2020

    • Author(s)
      大山剛史、伊藤照明
    • Organizer
      第30回設計工学システム部門講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] Speech Recognition Approach for Motion-Enhanced Display in ARM-COMS System2020

    • Author(s)
      Ito Teruaki、Oyama Takashi、Watanabe Tomio
    • Organizer
      International Conference on Human-Computer Interaction
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Motor Control of Hand Force for Visual Indicator Without Hand Displacement2020

    • Author(s)
      Oyama Takashi、Ito Teruaki
    • Organizer
      International Conference on Applied Human Factors and Ergonomics
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Improving Overall Equipment Effectiveness Using Lean Six Sigma in Lube Blending Plant: A Case Study2020

    • Author(s)
      Effendi MOHAMAD,Mohd Azizi TUKIRAN,Teruaki ITO,Mohamad Ridzuan JAMLI,Nor Akramin MOHAMAD,MohdRizal SALLEH,Rahmi YUNIAR
    • Organizer
      第30回設計工学システム部門講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] Optimizing the Changeover of Pressure Die Casting Machine by Implementing Single Minute Exchange of Die2020

    • Author(s)
      Effendi Mohamad, Mohammad Afif Embok Resa, Teruaki Ito, Syed Rose Al-Jeffry Syed Mohd Aris
    • Organizer
      生産システム部門研究発表講演会2020
    • Related Report
      2020 Research-status Report 2019 Research-status Report
  • [Presentation] ゆらぎによる無疲労LED照明2019

    • Author(s)
      伊藤照明
    • Organizer
      第24回岡山リサーチパーク研究・展示発表会
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 協調工学から感性情報工学へ2019

    • Author(s)
      伊藤照明
    • Organizer
      日本機械学会 2019年度 年次大会
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] 上肢運動における順ダイナミクスモデルの学習2019

    • Author(s)
      難波 裕昌, 大山 剛史, 伊藤 照明
    • Organizer
      第21回IEEE広島支部学生シンポジウム(HISS)
    • Related Report
      2019 Research-status Report
  • [Presentation] 運動制御における相互作用トルクの影響2019

    • Author(s)
      曽根海斗, 大山 剛史, 伊藤 照明
    • Organizer
      第21回IEEE広島支部学生シンポジウム(HISS)
    • Related Report
      2019 Research-status Report
  • [Presentation] 物理動作を伴うタブレットによる親和性向上の試み2019

    • Author(s)
      田中理沙, 大山 剛史, 伊藤 照明
    • Organizer
      第21回IEEE広島支部学生シンポジウム(HISS)
    • Related Report
      2019 Research-status Report
  • [Presentation] 運動習慣動機付けのための呈示情報効果に関する考察2019

    • Author(s)
      橋本淳平, 大山 剛史, 伊藤 照明
    • Organizer
      第21回IEEE広島支部学生シンポジウム(HISS)
    • Related Report
      2019 Research-status Report
  • [Presentation] 触覚を伴う複合型仮想空間内運動における視覚情報の影響2019

    • Author(s)
      江草亜美, 大山 剛史, 伊藤 照明
    • Organizer
      第21回IEEE広島支部学生シンポジウム(HISS)
    • Related Report
      2019 Research-status Report
  • [Presentation] 上肢運動における相互作用トルクに着目した運動軌跡の解析2019

    • Author(s)
      大山剛史, 伊藤照明
    • Organizer
      日本機械学会設計工学システム部門講演会 2019
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi