実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境
| Project/Area Number |
23K24881
|
|---|
| Project/Area Number (Other) |
22H03625 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
高橋 伸 筑波大学, システム情報系, 准教授 (00272691)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
志築 文太郎 筑波大学, システム情報系, 教授 (20323280)
川口 一画 筑波大学, システム情報系, 助教 (80826975)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2022: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
|
|---|
| Keywords | サウンドUI |
|---|
| Outline of Research at the Start |
モダリティとして聴覚を活用するサウンドユーザインタフェース(Sound User Interface, 以下サウンドUI)は，手や目を他の作業に使っていても同時に利用可能であり，実世界環境において特に有用性が高いと期待される．本研究では実世界環境におけるユーザ作業支援を目的として，ユーザの作業状況に合わせた高いリアルタイム性のある情報提示・インストラクションを音と音声(サウンド)で行うための方法論を確立し，その実現を支援する開発環境を構築する．
|
| Outline of Annual Research Achievements |
今年度は「リアルタイムサウンドインストラクション（以下，RSI）のデザインと体系化」及び「RSI を作業状況・動作に同期させる機構」について重点的に研究を開始した．
「RSI のデザインと体系化」については，今年度は既存の音楽の音量やテンポを加工する方法を検討し調査した．前者については，トレーニング中の姿勢の角度を音量と結びつけることで，その正しさ等の情報を伝えることを試みた．ユーザ実験を行ったところ，ユーザに姿勢情報を一定程度伝えることができたことが確認できた．また，伝達された情報がユーザに対するフィードバックとして作用し，ユーザのモチベーション向上につながる可能性を確認できた．後者については，複数人の平均動作リズムを動的に計算して提示する手法を実装し予備的評価を行った．実験結果は実験参加者のグループにより効果が異なっていたが，うまく用いるとやはり参加者のモチベーション向上につながる可能性が確認された．
「RSI を作業状況・動作に同期させる機構」については，今年度は人間行動認識(HAR)の各種技術を調査を開始した．その中でも，行動や動作を元に少し先の姿勢を予測する方法に着目した．現在の姿勢認識に基づいてフィードバックを行う方法では必然的に遅れが発生する．適切なタイミングでフィードバックを行うためには，少し先の姿勢を予測し，その姿勢の評価に基づいてフィードバックを行う方法に利点があると期待できる．
また，もう一つの研究項目である「RSI のシナリオベース開発環境」についても，これまでにビジュアルプログラミングの手法を用いて，認識結果と音出力を対応づける環境の試作を行うことができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目標としている３項目について研究をそれぞれ進めることができ，各項目について研究会等における発表を行うことができた．
|
| Strategy for Future Research Activity |
３つの研究項目について，基本的には計画通りに研究を進める．
「RSI のデザインと体系化」については，評価実験を追加的に実施して論文化を目指す．また，その他の音の要素（音高，和声）の使用法や音の定位などについてもその利用法の検討を進める．
「RSI を作業状況・動作に同期させる機構」については，引き続き動作予測の実装を進めるとともに，この予測を行う手法の優位性について比較実験を行い評価を行いたい．
「RSI のシナリオベース開発環境」については，試作したビジュアルプログラミング環境を発展させて，より多様な場面に対応できる記述方法を検討していく，特に，複数の動作のシーケンスに対応するためのシナリオ的な記述方法について検討する．
|
Report
(1 results)
Research Products
(8 results)
