robotic manipulator control interface based on speech and single-handed finger touch commands

2022 Fiscal Year Annual Research Report

• Project/Area Number: 17K00283
• Research Institution: Nihon University
• Principal Investigator: 岡 哲資 日本大学, 生産工学部, 教授 (00282921)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: マニピュレータ / ロボットアーム / 操作 / インタフェース / 音声 / タッチ / ジェスチャ / 片手

Outline of Annual Research Achievements

本課題では、音声コマンドとタッチパネル上のマルチタッチジェスチャによって、マニピュレータ（ロボットアーム）を操作する方法を研究した。実用上、マニピュレータの操作による作業の効率、作業の容易さ、コマンドの覚えやすさ、直感性、間違えにくさ（エラー率）などが重要である。過去の課題における成果を踏まえ、7自由度マニピュレータの操作インタフェースと仮想現実（VR, Virtual Reality）空間上のシミュレータを開発し、マニピュレータの操作や作業を行うことで個別の音声とジェスチャコマンドとコマンド群について、検討した。ジェスチャコマンドは、音声に比べて効率の面で優れているが、物理ボタンに比べると時間がかかり、熟練者レベルでは多くの場合で作業時間の面でキーパッドに及ばないという見通しを得た。しかしながら、ハンドの移動と開閉操作の覚えやすさ、間違えにくさの利点が確認できた。ハンドを回転する音声コマンドをマルチタッチジェスチャで置き換えることで、従来のコマンド群よりも作業効率を向上できる。本課題では、指の本数を変えた回転ジェスチャとスライドジェスチャを回転コマンドとして、マニピュレータインタフェースおよびシミュレータ上で実装した。これらによって、より時間がかかる音声コマンドを用いずにハンドの姿勢を自在に変更できるようになった。しかし、指の本数とハンドの動作の対応は、直感的ではなく、覚えやすさと間違えにくさに課題が残った。本課題の取り組みにより、2次元ジェスチャとロボットハンドの3次元的な移動・回転の直感的な対応付けの限界とともに、実用上の有用性も示唆された。2023年現在では、無線手持ちデバイスの6自由度追跡技術が進歩しており、少なくとも回転と移動に関しては、2次元のタッチジェスチャや音声よりも、コントローラが優れていると結論づけた。