ヒューマン・ロボット・インタラクションのための２Ｄ映像－３Ｄ動作マッピング手法

2019 年度 実績報告書

• 研究課題/領域番号: 17K06277
• 研究機関: 早稲田大学
• 研究代表者: 松丸 隆文 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (10313933)
• 研究期間 (年度): 2017-04-01 – 2020-03-31
• キーワード: ヒューマン・ロボット・インタラクション / 二次元画像／映像 / 三次元動作 / ３次元空中映像インタフェース / ロボット遠隔操作 / ろくろ陶芸仮想体験システム / エアーポインティング / ばら積みボトル銘柄別掴み上げ：ランダムピッキング

研究実績の概要

２次元映像と３次元動作の相互マッピング手法の確立を目的として，３つの事例から研究をおこなった．
（１）３次元空中映像インタフェース（３ＤＡＩＩ）（主に動作→映像）：空中に投影された３次元映像にユーザが手指を重ねて直接操作できることを特徴とするデバイスを開発し，その応用として，ロボットの遠隔操作の入出力インタフェースやろくろ陶芸の仮想体験システムを構築した．前者のロボットアームの手先位置決め作業では，ジョイスティックやゲームパッドに比べて実行時間が短くなり，生成する入力値が３次元ベクトル（方向と大きさ）となることが，３次元空間内での運動を操作するのに適していることを確認できた．後者では，人差し指の動きで外形と全体の高さを，親指の動きで内形を成形するインタラクション方法を準備し，参加者による予備実験におけるアンケート調査の結果（評価値と意見）から，３次元映像に実際の作業に似せた手指の動きを重ね合わせて操作できる設計思想が，ヒトとシステムのインタラクションに大きく貢献することが示唆された．
（２）エアーポインティングによるカーソル操作（主に動作→映像）：コンピュータ作業におけるキー入力とカーソル操作の切り替えを円滑に実現することを目的として，キーボードから手首を離すことなく指先の３次元動作だけで２次元映像内のカーソルを操作するシステムを提案した．腕の疲労軽減だけでなく，カーソルが動作する平面と指先の動く方向が一致することで直感的な操作になることが確認できた．
（３）ばら積みボトルの銘柄別ピッキング（主に映像→動作）：水槽中にあるペットボトルに対して，指定された銘柄を掴み上げるロボットシステムの実現を目的として，ロボットアームの３次元動作計画のために，水面を介して部分的に見える２次元ＲＧＢ映像からの個体や銘柄の認識をおこなった．機械学習により物体区分けや銘柄分類ができることを確認した．

備考

北九州工業高等専門学校教職員10名意見交換会(2020.03.30月). ろくろ陶芸仮想体験システム：説明とデモンストレーション．

研究成果

• [国際共同研究] インド工科大学デリー校/アムリータ・ビッシュワ・ビドゥヤピータム大学(インド)
  • 国名: インド
  • 外国機関名: インド工科大学デリー校/アムリータ・ビッシュワ・ビドゥヤピータム大学
• [雑誌論文] An Object Model and Interaction Method for a Simulated Experience of Pottery on a Potter’s Wheel (2020)
  • 著者名/発表者名: Matsumaru Takafumi、Morikawa Ami
  • 雑誌名: Sensors 巻: 20 ページ: 3091～3091
  • DOI: 10.3390/s20113091
  • 査読あり / オープンアクセス
• [雑誌論文] Three-Dimensional Aerial Image Interface, 3DAII (2019)
  • 著者名/発表者名: Matsumaru Takafumi、Septiana Asyifa Imanda、Horiuchi Kazuki
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 31 ページ: 657～670
  • DOI: 10.20965/jrm.2019.p0657
  • 査読あり / オープンアクセス
• [雑誌論文] Path Planning in Outdoor Pedestrian Settings Using 2D Digital Maps (2019)
  • 著者名/発表者名: Farid Ahmed、Matsumaru Takafumi
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 31 ページ: 464～473
  • DOI: 10.20965/jrm.2019.p0464
  • 査読あり / オープンアクセス
• [雑誌論文] Image Processing for Picking Task of Random Ordered PET Drinking Bottles (2019)
  • 著者名/発表者名: Zhu Chen、Matsumaru Takafumi
  • 雑誌名: Journal of Robotics, Networking and Artificial Life 巻: 6 ページ: 38～38
  • DOI: 10.2991/jrnal.k.190531.008
  • 査読あり / オープンアクセス
• [学会発表] Dynamic Hand Gesture Recognition for Robot Arm Teaching based on Improved LRCN Model (2019)
  • 著者名/発表者名: Kaixiang Luan, Takafumi Matsumaru
  • 学会等名: 2019 IEEE International Conference on Robotics and Biomimetics (IEEE Robio 2019)
  • 国際学会
• [学会発表] Intuitive Control of Virtual Robots using Transformed Objects as Multiple Viewports (2019)
  • 著者名/発表者名: Rajeevlochana G. Chittawadigi, Takafumi Matsumaru, Subir Kumar Saha
  • 学会等名: 2019 IEEE International Conference on Robotics and Biomimetics (IEEE Robio 2019)
  • 国際学会
• [学会発表] Brand Recognition with Partial Visible Image in the Bottle Random Picking Task based on Inception V3 (2019)
  • 著者名/発表者名: Chen Zhu, Takafumi Matsumaru
  • 学会等名: IEEE Ro-Man 2019 (2019 28th IEEE International Conference on Robot and Human Interactive Communication)
  • 国際学会
• [学会発表] Pre-Robotic Navigation Identification of Pedestrian Crossings & Their Orientations (2019)
  • 著者名/発表者名: Ahmed Farid, Takafumi Matsumaru
  • 学会等名: 12th Conference on Field and Service Robotics (FSR 2019)
  • 国際学会
• [学会発表] 三次元空中画像インターフェースを用いた造形インタラクション―変形した物体の投影― (2019)
  • 著者名/発表者名: 森川亜美, 堀内一希, 松丸隆文
  • 学会等名: 日本機械学会 ロボティクス・メカトロニクス講演会2019 （ROBOMECH 2019 in Hiroshima）
• [学会発表] Image Processing for Picking Task of Random Ordered PET Drinking Bottles (2019)
  • 著者名/発表者名: Chen Zhu, Takafumi Matsumaru
  • 学会等名: The 2019 International Conference on Artificial Life and Robotics (ICAROB 2019)
  • 国際学会
• [備考] 早稲田大学大学院情報生産システム研究科バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室
  • URL: http://www.waseda.jp/sem-matsumaru/
• [備考] 早稲田大学大学院情報生産システム研究科松丸隆文教授
  • URL: http://www.f.waseda.jp/matsumaru/
• [備考] 早稲田大学バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室YouTubeチャネル
  • URL: https://www.youtube.com/channel/UCfWTATHOOQtLY_1kylCLmAw