• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境

Research Project

Project/Area Number 23K24881
Project/Area Number (Other) 22H03625 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionUniversity of Tsukuba

Principal Investigator

高橋 伸  筑波大学, システム情報系, 准教授 (00272691)

Co-Investigator(Kenkyū-buntansha) 志築 文太郎  筑波大学, システム情報系, 教授 (20323280)
川口 一画  筑波大学, システム情報系, 助教 (80826975)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2022: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
KeywordsサウンドUI
Outline of Research at the Start

モダリティとして聴覚を活用するサウンドユーザインタフェース(Sound User Interface, 以下サウンドUI)は,手や目を他の作業に使っていても同時に利用可能であり,実世界環境において特に有用性が高いと期待される.本研究では実世界環境におけるユーザ作業支援を目的として,ユーザの作業状況に合わせた高いリアルタイム性のある情報提示・インストラクションを音と音声(サウンド)で行うための方法論を確立し,その実現を支援する開発環境を構築する.

Outline of Annual Research Achievements

研究実施計画の3つの研究項目について研究を進めた.
「リアルタイムサウンドインストラクション(以下RSI) のデザインと体系化」については,グループ運動に対して複数人の平均動作リズムを動的に計算して提示する手法について評価実験を行った.結果として平均テンポはグループを代表できることがわかったが,同時に参加者の背景(体力の差や音楽への対応力など)が支援効果に影響を及ぼすことが分かった.
「RSI を作業状況・動作に同期させる機構」については,引き続き動作予測を行うことで遅れのないフィードバック/インストラクション提示ができないか検討を進めている.具体的には,スクワット動作の動作予測を行い3Dアバタを利用して表示する環境を構築し,予備的な評価実験を行った.動作予測にはSTS-GCNを用いて,スクワットの動作を含むデータセットを学習させることで実装した.また,3Dアバタ表示はUnity上に実装した.予備的な評価実験では,手本動作表示,リアルタイム動作認識表示,および動作予測表示を比較した.その結果,動作予測の実装に改善の余地があるが,予測動作を適切なタイミングで実行して表示することがユーザの支援効果を持つ可能性が示唆された.
「RSI のシナリオベース開発環境」については,従来よりノードをエッジでつなぐタイプのビジュアルプログラミング環境をベースとして試作をしていたが,そのプログラムを実行中にプログラム内で切り替えられるようにすることで,複数の動作シナリオをつなげていくことができるように設計した.実装としてはElectronをベースとして,BaklavaJSやMediaPipe等を用いて,カメラ画像から認識した人体スケルトンの関節角度等に応じて簡単な音を慣らす環境を構築した.これにより,対象動作が切り替わるようなシナリオを構築した環境で記述して利用することが可能であることを確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の目標としている3項目について研究をそれぞれ進めることができ,各項目について研究会等における発表を行うことができた.

Strategy for Future Research Activity

3つの研究項目について,さらに研究を進める.
「RSI のデザインと体系化」については,音楽のラウドネスを情報提示に用いる手法について予備実験を行っていて,今後,比較実験を行うことで,その有用性を評価して論文化を進める.また,その他の音の要素(音高,和声)の使用法や音の定位などについても利用法の検討を進めて,それぞれをRSI開発環境において利用可能とすることを目指す.
「RSI を作業状況・動作に同期させる機構」については,これまでに実装した動作予測が人体動作全体の動きを想定していたため,予測精度に問題があった.そこで,人体の局所的な動作の予測とすることで精度の改善をする.また,予測を行う手法の優位性について比較実験を行い評価を行う.
「RSI のシナリオベース開発環境」については,ビジュアルプログラミング環境の設計を再検討する.ノードベースのビジュアルプログラムだけでなく,時間軸を導入することで,時間軸に沿って動作とサウンドインストラクションとの対応付けを自然にできるようにすることを目指す.また,動作そのものの記号的記述方法についても検討したい.実装としては,人体動作の認識を行う入力部分や実際に音を出力する部分を充実させて,実用となる環境を構築して,その有用性を確認することを目指す.

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (15 results)

All 2024 2023 2022 Other

All Journal Article (7 results) (of which Peer Reviewed: 1 results,  Open Access: 7 results) Presentation (7 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Journal Article] ポーズ予測の提示による自重トレーニング支援2024

    • Author(s)
      Huang Jiayun, 高橋 伸
    • Journal Title

      INTERACTION 2024 第28回 一般社団法人情報処理学会シンポジウム(デモ発表)

      Volume: 2024 Pages: 1329-1330

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] The Effect of Music Tempo on Group High-Intensity Interval Training: A Preliminary Evaluation Experiment2023

    • Author(s)
      Wang Ruiyun, Huang Jiayun, Jin Yuchen, Shin Takahashi
    • Journal Title

      The 29th International Conference on Collaboration Technologies and Social Computing (Poster Paper)

      Volume: 2023 Pages: 19-24

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] サウンドインタラクション記述用ビジュアルプログラミング環境の設計と実装2023

    • Author(s)
      田村 隼, 齋藤 龍宏, 真鍋 匠, 高橋 伸
    • Journal Title

      WISS 2023: 第31回インタラクティブシステムとソフトウェアに関するワークショップ(デモ発表)

      Volume: 2023

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] Pose visualization and feedback system based on pose prediction2023

    • Author(s)
      黄 佳贇, 高橋 伸
    • Journal Title

      情報処理学会第85回全国大会

      Volume: 2023

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] 動作リズムの平均を提示する多人数トレーニング支援手法2023

    • Author(s)
      WANG RUIYUN, LI MIAO, HUANG JIAYUN, 高橋 伸
    • Journal Title

      第27回 一般社団法人情報処理学会シンポジウム(インタラクション2023)

      Volume: 2023 Pages: 924-926

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] サウンドインタラクション開発支援の環境設計2022

    • Author(s)
      坂田和輝, 田村隼, 高橋 伸
    • Journal Title

      第30回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2022)

      Volume: 2022

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] 音の大きさの変化によるトレーニング支援手法の提案と評価2022

    • Author(s)
      王瑞贇, 高橋 伸
    • Journal Title

      情報処理学会第199回HCI研究会

      Volume: 2022 Pages: 1-6

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Presentation] ポーズ予測の提示による自重トレーニング支援2024

    • Author(s)
      Huang Jiayun, 高橋 伸
    • Organizer
      INTERACTION 2024 第28回 一般社団法人情報処理学会シンポジウム(デモ発表)
    • Related Report
      2023 Annual Research Report
  • [Presentation] The Effect of Music Tempo on Group High-Intensity Interval Training: A Preliminary Evaluation Experiment2023

    • Author(s)
      Wang Ruiyun, Huang Jiayun, Jin Yuchen, Shin Takahashi
    • Organizer
      The 29th International Conference on Collaboration Technologies and Social Computing (Poster)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] サウンドインタラクション記述用ビジュアルプログラミング環境の設計と実装2023

    • Author(s)
      田村 隼, 齋藤 龍宏, 真鍋 匠, 高橋 伸
    • Organizer
      WISS 2023: 第31回インタラクティブシステムとソフトウェアに関するワークショップ(デモ発表)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Pose visualization and feedback system based on pose prediction2023

    • Author(s)
      黄 佳贇, 高橋 伸
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 動作リズムの平均を提示する多人数トレーニング支援手法2023

    • Author(s)
      WANG RUIYUN, LI MIAO, HUANG JIAYUN, 高橋 伸
    • Organizer
      第27回 一般社団法人情報処理学会シンポジウム(インタラクション2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] サウンドインタラクション開発支援の環境設計2022

    • Author(s)
      坂田和輝, 田村隼, 高橋 伸
    • Organizer
      第30回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 音の大きさの変化によるトレーニング支援手法の提案と評価2022

    • Author(s)
      王瑞贇, 高橋 伸
    • Organizer
      情報処理学会第199回HCI研究会
    • Related Report
      2022 Annual Research Report
  • [Remarks] 科研基盤B:実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境

    • URL

      https://scrapbox.io/iplab-ubiq-public/Sound_UI

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi