Development of tangible user interface using ultrasonic microfluidic manipulation platform

Research Project

Project/Area Number	23K16916
Research Category	Grant-in-Aid for Early-Career Scientists
Allocation Type	Multi-year Fund
Review Section	Basic Section 61020:Human interface and interaction-related
Research Institution	University of Tsukuba
Principal Investigator	伏見龍樹筑波大学, 図書館情報メディア系, 助教 (60890944)
Project Period (FY)	2023-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000) Fiscal Year 2023: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Keywords	マイクロ流体 / 超音波 / 非接触操作 / タンジブル / 音響ホログラム / 非接触ディスプレイ / 液体ばね / 音響放射力
Outline of Research at the Start	タンジブルユーザーインターフェース（TUI）は複数の感覚に同時に情報を伝達できるため，実用的なUIとして開発されてきた．現代では複雑な情報処理を極小の装置で行えるようになったが，処理結果をタンジブルに伝達するにはモーターやバッテリーなどを内蔵する必要があり，機能性と保守性が限られてきた．そこで，本研究では超音波マイクロ流体操作基盤を用いたTUIを提案する．uL単位の液体を超音波で操作し，その上にcm単位の物理アイコンを設置することで非接触にボタンを縦横無尽に移動させ，音波で触覚提示する．非接触かつ自由に再構成できるシステムを開発することでTUIが持つ課題を解決するシステムの開発を目指す．
Outline of Annual Research Achievements	本研究では申請者らが開発した超音波マイクロ流体操作基盤（超音波DMF）を用いたタンジブルユーザーインターフェース（TUI）を開発する．μL単位の液体を超撥水加工したメッシュの上に配置し、音波は透過させるが液体は染み込ませない状態を作ることで、液滴を超音波で操作できる．本研究ではこの技術を更に発展させ、液滴を物体を運搬するキャリアとして活用し、cm単位の物理アイコンを設置することで、非接触にボタンを縦横無尽に移動できるシステムを開発する．研究目的である【超音波DMFを用いたTUIの実現に最適なシステム条件を探索し，初期PoCを開発】を達成するため、今年度は最適な条件を流体力学と音響工学の観点から探索し、ユーザーインターフェースの基軸となる液体ばねへの理解を深め、実施に必要な【ハードウェア開発】、および操作向上に向けた【操作ソフトの開発】を行った．例えば、液体ばねの理解では表面張力により液滴物質がどのような形状を取るのか予測するSurface Evolverを用いた解析が可能であることが判明し、運搬量の最大化に向けた定式が明確化された．また、ハードウェア面では、申請者が使用している超音波装置よりも高性能なOpenMPDという装置がパブリックアクセス可能となったため、その再現を行い、高速に超音波場を切り替え可能なハードウェアをTUIで使用可能となるように研究を進めた．また操作ソフトの開発面において最も大きな進捗が得られた．従来の超音波場最適化システムにはGPUを用いた反復的最適化が必要不可欠であったが、位相特異性に着眼することにより、TUIに必要な最適化を反復最適化を必要とせずに計算できることが判明した．このアルゴリズムを活用することで、コストダウンや簡易化されることが期待され、学会でもこの成果を発表した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason ハードウェア開発の面でシステム再現がうまくいかず進捗に滞りがあったが、開発者と協力することにより解決に向かっている．想定通りに液体ばねを実験的に製作し、超音波場で操作できることは確認し、触覚効果もアイコン越しに可能であることが判明した。ユーザーインターフェースの組み込みは予定通り達成できる見込みである．しかし、アイコンを押し込んだ際に、液滴が完全に飛び出し戻ってこない状況が起きうる等、当初には想定していなかった現象も確認されたため、最適条件に新たな拘束条件が加わるなど更なる工夫は求められる．
Strategy for Future Research Activity	今後は液体ばねのシミュレーションを完結し、液滴の位置判定や押し込み判定ソフトを開発、プロジェクションマッピングなど、TUIの完全実装フェーズに移行し、ユーザーインターフェースとして活用可能な点まで発展させる．音場最適化についての論文とTUI本体についての論文とそれぞれ一稿ずつ論文を執筆し、年度末までに提出・発表を目標と設定している．