音声と片手指先タッチ入力によるマニピュレータ操作インタフェース

2018 Fiscal Year Research-status Report

• Project/Area Number: 17K00283
• Research Institution: Nihon University
• Principal Investigator: 岡 哲資 日本大学, 生産工学部, 教授 (00282921)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 音声 / タッチ入力 / ロボットアーム / マニピュレータ / 操作 / インタフェース / 命令 / マルチタッチ

Outline of Annual Research Achievements

音声とタッチパネル上のジェスチャ入力を併用するマニピュレータ（ロボットアーム）の命令・操作方法及び操作インタフェースに関する研究を推進した。作業がやりやすいマニピュレータの操作インタフェースを実現するために、音声とタッチパネル上のジェスチャを用いた操作入力・命令方法を検討し、新しいインタフェースの開発と評価を行っている。これまでに、音声とマルチタッチジェスチャを用いた命令による操作が可能なインタフェースを複数開発し、それらの評価と検討を行ってきた。本年度は、既に開発したインタフェースにおける各命令の覚えやすさ、認知負荷、容易さ、効率などについて、過去の実験データと映像に基づいて再検討した。また、3本以上の指を用いたマルチタッチジェスチャによる新しい命令方法についても検討した。具体的には、2-4本の指でパネルをタッチし、回転するジェスチャを用いて、ハンドを回転する三種類の回転命令（ヨー・ピッチ・ロール）を使い分ける方法、3または4本の指を前後左右にスライドさせ、ハンドを決められた姿勢（前向き・下向きなど）にする方法などについて考案した。そして、これらの新しい命令方法を検討するために、PCのタッチスクリーン上での1-4本の指を用いたマルチタッチジェスチャ（スライド・回転・ズーム）を検出する新しいソフトウェアモジュールを開発した。開発にあたり、ジェスチャの検出漏れ、誤検出、タイムラグを減らし、小さな指の移動でジェスチャが行えるような工夫をした。この新しいモジュールを用い、ロボットシミュレータ上で、音声とマルチタッチジェスチャによってロボットハンド、マニピュレータ、移動ロボット、ドローンの操作が可能なシステムを構築した。これらのシステムで実際に操作を行ってみることで、命令の覚えやすさ、命令や作業の行いやすさ、操作ミスなどの生じうる問題を確認した。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

長期海外派遣研究により、研究費の支出が行えなかったため。また、同じ理由でマニピュレータ実機を用いたシステムの開発、テスト、ユーザ評価を行うことができなかったため。

Strategy for Future Research Activity

今後は、これまでの検討の結果を踏まえて、さらに新しい命令方法の考案、新しい操作インタフェースの開発と実験協力者による評価実験を行う予定である。音声と片手指先入力を用いた新しい命令セットを設計し、その命令セットによってマニピュレータを操作できる新しい操作インタフェースを開発する。片手指先入力による命令には、タッチパネル上のスライド、回転、ズームなどのジェスチャ、1-5本指のタップなどを検討する。片手指先入力による命令を増やせば、作業時間の増加につながるモードの切り替えや音声入力を減らすことができる。したがって、効率的な作業が可能になると考えられる。また、マニピュレータを停止させずに動作を変更できるようにする。新しい操作インタフェースを用いて、音声と片手指先入力による各命令の比較と評価、命令セットの比較と評価、インタフェースの比較と評価が可能になる。比較対象としては、ボタンやレバーを用いた命令・命令セット・インタフェースを考えている。今後明らかにしたい点としては、まず、個別の命令および命令セットの覚えやすさと認知負荷が挙げられる。課題実行時のエラーの頻度、アンケートとインタビューなどに基づいて考察する。つぎに、個別の命令による操作および命令セットによる作業の効率と時間がかかる要因が挙げられる。これは、所要時間、エラーの頻度、命令の頻度などに基づいて考察する。効率については、操作方法を習得した後の変化についても確認したいと考えている。開発したインタフェースの有用性については、命令セットの覚えやすさ、作業時の認知負荷、作業の主観体験（難しさ、快適さ、楽しさ、気になった点などを含む）、作業の効率・所要時間・命令頻度などに基づいて考察する。

Causes of Carryover

長期海外派遣研究により、物品購入、旅費、謝金等の支出が行えなかったため、繰り越しが生じた。次年度は、物品購入費、旅費、学会参加費、論文投稿料、英文校閲料、学生アルバイト・実験協力者への謝金に使用する。