実世界サウンドユーザインタフェースにおけるリアルタイムインストラクション開発環境
| Project/Area Number |
23K24881
|
|---|
| Project/Area Number (Other) |
22H03625 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
高橋 伸 筑波大学, システム情報系, 准教授 (00272691)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
志築 文太郎 筑波大学, システム情報系, 教授 (20323280)
川口 一画 筑波大学, システム情報系, 助教 (80826975)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2024: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2022: ¥6,630,000 (Direct Cost: ¥5,100,000、Indirect Cost: ¥1,530,000)
|
|---|
| Keywords | サウンドUI |
|---|
| Outline of Research at the Start |
モダリティとして聴覚を活用するサウンドユーザインタフェース(Sound User Interface, 以下サウンドUI)は，手や目を他の作業に使っていても同時に利用可能であり，実世界環境において特に有用性が高いと期待される．本研究では実世界環境におけるユーザ作業支援を目的として，ユーザの作業状況に合わせた高いリアルタイム性のある情報提示・インストラクションを音と音声(サウンド)で行うための方法論を確立し，その実現を支援する開発環境を構築する．
|
| Outline of Annual Research Achievements |
研究実施計画の３つの研究項目について研究を進めた．
「リアルタイムサウンドインストラクション(以下RSI) のデザインと体系化」については，グループ運動に対して複数人の平均動作リズムを動的に計算して提示する手法について評価実験を行った．結果として平均テンポはグループを代表できることがわかったが，同時に参加者の背景(体力の差や音楽への対応力など)が支援効果に影響を及ぼすことが分かった．
「RSI を作業状況・動作に同期させる機構」については，引き続き動作予測を行うことで遅れのないフィードバック/インストラクション提示ができないか検討を進めている．具体的には，スクワット動作の動作予測を行い3Dアバタを利用して表示する環境を構築し，予備的な評価実験を行った．動作予測にはSTS-GCNを用いて，スクワットの動作を含むデータセットを学習させることで実装した．また，3Dアバタ表示はUnity上に実装した．予備的な評価実験では，手本動作表示，リアルタイム動作認識表示，および動作予測表示を比較した．その結果，動作予測の実装に改善の余地があるが，予測動作を適切なタイミングで実行して表示することがユーザの支援効果を持つ可能性が示唆された．
「RSI のシナリオベース開発環境」については，従来よりノードをエッジでつなぐタイプのビジュアルプログラミング環境をベースとして試作をしていたが，そのプログラムを実行中にプログラム内で切り替えられるようにすることで，複数の動作シナリオをつなげていくことができるように設計した．実装としてはElectronをベースとして，BaklavaJSやMediaPipe等を用いて，カメラ画像から認識した人体スケルトンの関節角度等に応じて簡単な音を慣らす環境を構築した．これにより，対象動作が切り替わるようなシナリオを構築した環境で記述して利用することが可能であることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目標としている３項目について研究をそれぞれ進めることができ，各項目について研究会等における発表を行うことができた．
|
| Strategy for Future Research Activity |
３つの研究項目について，さらに研究を進める．
「RSI のデザインと体系化」については，音楽のラウドネスを情報提示に用いる手法について予備実験を行っていて，今後，比較実験を行うことで，その有用性を評価して論文化を進める．また，その他の音の要素（音高，和声）の使用法や音の定位などについても利用法の検討を進めて，それぞれをRSI開発環境において利用可能とすることを目指す．
「RSI を作業状況・動作に同期させる機構」については，これまでに実装した動作予測が人体動作全体の動きを想定していたため，予測精度に問題があった．そこで，人体の局所的な動作の予測とすることで精度の改善をする．また，予測を行う手法の優位性について比較実験を行い評価を行う．
「RSI のシナリオベース開発環境」については，ビジュアルプログラミング環境の設計を再検討する．ノードベースのビジュアルプログラムだけでなく，時間軸を導入することで，時間軸に沿って動作とサウンドインストラクションとの対応付けを自然にできるようにすることを目指す．また，動作そのものの記号的記述方法についても検討したい．実装としては，人体動作の認識を行う入力部分や実際に音を出力する部分を充実させて，実用となる環境を構築して，その有用性を確認することを目指す．
|
Report
(2 results)
Research Products
(15 results)
