2D image - 3D motion mapping method for human-robot interaction

• Project/Area Number: 17K06277
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Intelligent mechanics/Mechanical systems
• Research Institution: Waseda University
• Principal Investigator: Matsumaru Takafumi 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (10313933)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2018: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2017: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: ヒューマン・ロボット・インタラクション / 二次元画像／映像 / 三次元動作 / ３次元空中映像インタフェース / ロボット遠隔操作 / ろくろ陶芸仮想体験システム / エアーポインティング / ばら積みボトル銘柄別掴み上げ：ランダムピッキング / ろくろ作業 / カーソル操作 / ペットボトル仕分け / 物体区分け・銘柄分類 / ３次元立体映像 / ホログラフィック / 空中投影 / インタラクティブ・インタフェース / 知能機械学・機械システム / 人間機械システム

Outline of Final Research Achievements

We have proceeded the research through the following cases. (1) 3D aerial image interface (motion --> image): We developed a device that allows the user to directly operate the 3D image projected in the air while superimposing their hand/finger on the 3D image. We constructed a remote operation system of robotic arm and a virtual experience system for pottery. (2) Cursor operation by air pointing (motion --> image): We proposed a system for a user to operate a screen cursor on a flat-panel only by the three-dimensional movement of fingertip without releasing his/her wrist from a keyboard. (3) Random picking of branded plastic bottle (mainly video --> motion): In order to control the 3D motion of the robot that picks up the bottle in the water tank with the specified brand, we have realized the recognition of the individual and the brand from the 2D RGB image.

Academic Significance and Societal Importance of the Research Achievements

（１）３次元空中映像インタフェースは，裸眼でさまざまな視点から（複数人でも同時に）見ることができるという利点があり，空中投影される３次元画像にユーザーが手指を直接重ね合わせて操作できるという設計思想が，ヒトとシステムのインタラクションに大きく貢献することが示され，自動車のセンターコンソールなどにも応用できる．（２）エアーポインティングによるカーソル操作は，キーボード入力とマウス操作の頻繁な切り替えより効率的であることが確認できた．（３）部分的に見える部分から物体全体やその銘柄を推定する能力は，ランダムピッキングだけでなくさまざまな作業の自動化のためのセンシング機能の向上に役立つ．

Research Products

• [Int'l Joint Research] インド工科大学デリー校/アムリータ・ビッシュワ・ビドゥヤピータム大学(インド)
• [Int'l Joint Research] インド工科大学デリー校(インド)
• [Int'l Joint Research] インド工科大学デリー校(インド)
• [Journal Article] An Object Model and Interaction Method for a Simulated Experience of Pottery on a Potter’s Wheel (2020)
  • Author(s): Matsumaru Takafumi、Morikawa Ami
  • Journal Title: Sensors Volume: 20 Issue: 11 Pages: 3091-3091
  • DOI: 10.3390/s20113091
  • Peer Reviewed / Open Access
• [Journal Article] Three-Dimensional Aerial Image Interface, 3DAII (2019)
  • Author(s): Matsumaru Takafumi、Septiana Asyifa Imanda、Horiuchi Kazuki
  • Journal Title: Journal of Robotics and Mechatronics Volume: 31 Issue: 5 Pages: 657-670
  • DOI: 10.20965/jrm.2019.p0657
  • NAID: 130007731546
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2019-10-20
  • Peer Reviewed / Open Access
• [Journal Article] Path Planning in Outdoor Pedestrian Settings Using 2D Digital Maps (2019)
  • Author(s): Farid Ahmed、Matsumaru Takafumi
  • Journal Title: Journal of Robotics and Mechatronics Volume: 31 Issue: 3 Pages: 464-473
  • DOI: 10.20965/jrm.2019.p0464
  • NAID: 130007665254
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2019-06-20
  • Peer Reviewed / Open Access
• [Journal Article] Image Processing for Picking Task of Random Ordered PET Drinking Bottles (2019)
  • Author(s): Zhu Chen、Matsumaru Takafumi
  • Journal Title: Journal of Robotics, Networking and Artificial Life Volume: 6 Issue: 1 Pages: 38-38
  • DOI: 10.2991/jrnal.k.190531.008
  • Peer Reviewed / Open Access
• [Presentation] Dynamic Hand Gesture Recognition for Robot Arm Teaching based on Improved LRCN Model (2019)
  • Author(s): Kaixiang Luan, Takafumi Matsumaru
  • Organizer: 2019 IEEE International Conference on Robotics and Biomimetics (IEEE Robio 2019)
  • Int'l Joint Research
• [Presentation] Intuitive Control of Virtual Robots using Transformed Objects as Multiple Viewports (2019)
  • Author(s): Rajeevlochana G. Chittawadigi, Takafumi Matsumaru, Subir Kumar Saha
  • Organizer: 2019 IEEE International Conference on Robotics and Biomimetics (IEEE Robio 2019)
  • Int'l Joint Research
• [Presentation] Brand Recognition with Partial Visible Image in the Bottle Random Picking Task based on Inception V3 (2019)
  • Author(s): Chen Zhu, Takafumi Matsumaru
  • Organizer: IEEE Ro-Man 2019 (2019 28th IEEE International Conference on Robot and Human Interactive Communication)
  • Int'l Joint Research
• [Presentation] Pre-Robotic Navigation Identification of Pedestrian Crossings & Their Orientations (2019)
  • Author(s): Ahmed Farid, Takafumi Matsumaru
  • Organizer: 12th Conference on Field and Service Robotics (FSR 2019)
  • Int'l Joint Research
• [Presentation] 三次元空中画像インターフェースを用いた造形インタラクション―変形した物体の投影― (2019)
  • Author(s): 森川亜美, 堀内一希, 松丸隆文
  • Organizer: 日本機械学会 ロボティクス・メカトロニクス講演会2019 （ROBOMECH 2019 in Hiroshima）
• [Presentation] Image Processing for Picking Task of Random Ordered PET Drinking Bottles (2019)
  • Author(s): Chen Zhu, Takafumi Matsumaru
  • Organizer: The 2019 International Conference on Artificial Life and Robotics (ICAROB 2019)
  • Int'l Joint Research
• [Presentation] Image Processing for Picking Task of Random Ordered PET Drinking Bottles DOI: 10.5954/ICAROB.2019.GS2-4 ISBN: 978-4-9908350-4-0 (2019)
  • Author(s): Chen Zhu, Takafumi Matsumaru
  • Organizer: The 2019 International Conference on Artificial Life and Robotics (ICAROB 2019) [Beppu, Japan], (January 10-13, 2019)
  • Int'l Joint Research
• [Presentation] ３次元空中ホログラフィック画像インターフェースを用いたリアルタイム遠隔投影 (2018)
  • Author(s): 堀内一希, セプティアナ アシファイ マンダ, 松丸隆文
  • Organizer: 日本機械学会 ロボティクス・メカトロニクス講演会2018 （ROBOMECH 2018 in Kitakyushu）, [北九州] (2018.6.2-5)
• [Presentation] 手検出深度カメラを用いた近距離指先ポインティング (2018)
  • Author(s): 堀内一希, 松丸隆文
  • Organizer: 日本機械学会 ロボティクス・メカトロニクス講演会2018 （ROBOMECH 2018 in Kitakyushu）, [北九州] (2018.6.2-5)
• [Presentation] Fingertip pointing interface by hand detection using Short range depth camera (2018)
  • Author(s): Kazuki Horiuchi, Takafumi Matsumaru
  • Organizer: ISIPS 2018 (12h International collaboration Symposium on Information, Production and Systems) [Kitakyushu, Japan], (14-16 November, 2018)
• [Presentation] Image Segmentation and Brand Recognition in the Robot Picking Task (2018)
  • Author(s): Chen Zhu, Takafumi Matsumaru
  • Organizer: ISIPS 2018 (12h International collaboration Symposium on Information, Production and Systems) [Kitakyushu, Japan], (14-16 November, 2018)
• [Presentation] Short Range Fingertip Pointing Operation Interface by Depth Camera DOI: 10.1109/ROBIO.2018.8665254 INSPEC Accession Number: 18511742 (2018)
  • Author(s): Kazuki Horiuchi, Takafumi Matsumaru
  • Organizer: 2018 IEEE International Conference on Robotics and Biomimetics (IEEE ROBIO 2018), [Kuala Lumpur, Malaysia], (December 12-15, 2018)
  • Int'l Joint Research
• [Presentation] Measuring Performance of Aerial Projection of 3D Hologram Object (3DHO) DOI: 10.1109/ROBIO.2017.8324726 (2017)
  • Author(s): Asyifa I.SEPTIANA, Mahfud JIONO, Takafumi MATSUMARU
  • Organizer: 2017 IEEE International Conference on Robotics and Biomimetics (IEEE-ROBIO 2017), [Macau SAR, China], (December 5-8, 2017)
  • Int'l Joint Research
• [Remarks] 早稲田大学大学院情報生産システム研究科バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室
  • URL: http://www.waseda.jp/sem-matsumaru/
• [Remarks] 早稲田大学大学院情報生産システム研究科松丸隆文教授
  • URL: http://www.f.waseda.jp/matsumaru/
• [Remarks] 早稲田大学バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室YouTubeチャネル
  • URL: https://www.youtube.com/channel/UCfWTATHOOQtLY_1kylCLmAw
• [Remarks] 早稲田大学情報生産システム研究科バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室ホームページ
  • URL: http://www.waseda.jp/sem-matsumaru/
• [Remarks] 早稲田大学大学院情報生産システム研究科松丸隆文教授ホームページ
  • URL: http://www.f.waseda.jp/matsumaru/
• [Remarks] 早稲田大学バイオ・ロボティクス＆ヒューマン・メカトロニクス研究室YouTubeチャネル
  • URL: https://www.youtube.com/channel/UCfWTATHOOQtLY_1kylCLmAw/videos?flow=grid&view=0&sort=p
• [Remarks] 早稲田大学大学院情報生産システム研究科松丸隆文教授 ホームページ
  • URL: http://www.f.waseda.jp/matsumaru/