2022 Fiscal Year Annual Research Report
Sensory-Motor Fusion in Multi-Eye Vision Robots
| Project/Area Number |
22H01439
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
並木 明夫 千葉大学, 大学院工学研究院, 教授 (40376611)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
妹尾 拓 北海道大学, 情報科学研究院, 准教授 (10512113)
山川 雄司 東京大学, 大学院情報学環・学際情報学府, 准教授 (90624940)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 多眼高速ビジョン / 感覚運動統合 / 高速マニピュレーション |
|---|
| Outline of Annual Research Achievements |
本研究では、多眼高速ビジョンロボットシステムを開発し、ロボットの体表に小型高速カメラを高密度に配置することで、死角をなくし、全てを視覚計測可能な「無死角性」と、認識と作業速度の「高速性」を実現する。具体的には、以下の三つの課題に取り組む。①全身にカメラを配置した多眼高速ビジョンロボットの開発、②動的多眼ステレオによる実時間3次元認識、③多眼視覚と運動統合による動作生成。これらの開発により、ロボットの作業速度を大幅に向上させることを目指す。
本年度は、ロボット全身にカメラを配置した多眼高速ビジョンネットワークを開発した。具体的には、多自由度ハンド・アームの指、掌、腕に合計26個の小型カメラIU233N2-Zを配置した。死角が少なくなるように最適化問題を解決して配置を決めた。多数のカメラからの視覚情報を一台の計算機で処理するのは困難なため、各カメラからの情報を処理する分散ノードを設置したネットワークを開発し、動的に経路制御を行うこととした。処理ノードにはNVIDIA Jetson Xavier NXを使用した。結果として、全カメラからの画像情報を120Hzで取得し、リアルタイムで処理することが可能となった。
開発した多眼ハンドアームシステムを使用して、高速移動物体のトラッキング制御の実験を行った。複数のカメラから得られる情報のタイミングを完全に同期することは難しいために、拡張カルマンフィルタを用いることで非同期においても精度よく情報統合を行うこととした。実機による追跡実験を行うことで、提案アルゴリズムの有効性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度の目標は、ロボット全身に配置した多眼高ビジョ ンネットワークの開発であるが、多自由度ハンド・アームに小型カメラ を配置することで、指、掌、腕に合計26個のカメラを配置したシステム構築に成功した。カメラが多数になるため，各カメラからの情報を集中するノードを設置したネットワ ーク構造とし，動的に経路制御を実現した。これらの成果は研究計画以上のものである。
|
| Strategy for Future Research Activity |
今後の研究としては、計画書に従い、次のように進める。まず、無死角を実現するための動的多眼ステレオによる実時間３次元認識の研究を行う。最適なステレオ配置をシームレスに変化させる動的多眼ステレオアルゴリズムを開発する。次に、多眼視覚-運動統合による動作生成アルゴリズムの研究を行う。タスク実行のための運動と、周辺認識のための「視運動」の双方を最適化する新たな動作生成アルゴリズムを開発する。最後に、高速マニピュレーションへの応用研究を行い、特に、障害物が多い中での把持操り作業を中心に検証する。
|
