Research on fundamental information processing technology for underwater operation and it's evaluation by sea trials

• Project/Area Number: 18H01643
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 24020:Marine engineering-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 石井 和男 九州工業大学, 大学院生命体工学研究科, 教授 (10291527)
• Co-Investigator(Kenkyū-buntansha): 西田 祐也 九州工業大学, 大学院生命体工学研究科, 准教授 (60635209)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥16,900,000 (Direct Cost: ¥13,000,000、Indirect Cost: ¥3,900,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2019: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000); Fiscal Year 2018: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
• Keywords: 水中ロボット / 画像鮮明化 / 水中音響通信 / 船底清掃 / 生物サンプリング / 水中画像処理 / 水産養殖 / ASV-ROV協調システム / 水中画像処理技術 / 自己位置推定 / Saliency / 水産養殖業 / 水中画像補正 / 画像圧縮 / ASV / 水中環境 / 情報処理技術 / 実海域実験 / ロボット協調制御 / 画像鮮明化処理 / 超音波信号処理 / 水上ビークル

Outline of Annual Research Achievements

本研究では，海洋調査及び水中インフラを自動で検査・保守において基盤となる水中環境用の情報処理技術に関して研究開発を進めている.水中画像処理技術，画像による対象物認識技術，浅海での自己位置推定技術，ASV(自動支援船)と水中ロボットの協調制御，深海域調査実験により明らかとなった課題への解決法，等の水中基盤技術について研究を進め，さらに実証実験により有効性を確認することを目的としている．
水中画像処理技術に関して、水中の濁度や透明度等の環境パラメータと鮮明化処理パラメータの関連性解析をさらに進め、橋梁水中部のクラック検査や橋梁の洗掘調査に適用した．球磨川第一橋脚を対象にASV-ROVシステムによる画像及び超音波ソナーによる検査を行った．人間の注視モデルであるSaliency理論の注目領域と画像特徴点との関係について，オプティカルフロー算出の際の水中画像の特徴量とSaliencyMapから抽出された領域の関係性を検討した．
支援船への海底面画像の超音波伝送技術に関して、AUVの水中環境，支援船の受信機の姿勢，複数の超音波通信装置の利用，スラスタによるノイズ発生等の課題への対処について，小型AUVに搭載可能な超音波通信装置を製作し，画像伝送の成功率を評価した．
水中インフラ及び船舶の検査および清掃を目的としたROVを開発しており，その運動制御システムの改良を行った．港湾に係留中の船舶を対象として，清掃実験を行い制御性能の評価を行った．
水産養殖業者へのヒアリング結果のもと，養殖魚への給餌量の最適化を目的とし，養殖魚の活動量を推定するセンサネットワークシステムを開発し，大分県佐伯市，長崎県五島市の水産養殖業者の協力のもと給餌時において発生する水流および水中映像を取得し，活動量を推定する実験を行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

水中画像の超音波画像伝送に関して，AUVへの搭載を前提とし送信アルゴリズムが変更可能な超音波通信装置を開発し，水槽において画像伝送に成功した．受信装置に関してはMEMSマイクを用いた受信機を開発し，それの成果はScopusに登録されている国際学会論文として発表している．同技術はAUVのホーミング実験にも応用し，同様に国際学会において発表済みである．
船底清掃用水中ロボットの開発を進めているが，その運動制御システム及び超音波洗浄に関する成果を２つの国際学会論文として発表している．海洋環境の長期観測を目的とし，定点とその周辺領域を観測可能なロボットシステムを開発中であり，その成果は国際会議論文として発表している，水産養殖場の調査のための新たなセンサネットワークシステムの提案と水槽実験，実海域実験を行い，その成果は２つの国際会議論文として発表した．
さらに沿岸域の調査も含め，画像処理による海洋浮遊物や漂流物の推定にも応用をはじめ，その成果の一部も国際会議において発表している．
また，アウトリーチ活動として行なっている水中ロボコンへの取り組みを工学教育誌へ投稿し，掲載されている．上記のように研究成果を積極的に発表しており，順調に成果をあげている．

Strategy for Future Research Activity

水中環境に適した情報処理技術を発展・統合させ，水中ロボットを活用し実フィールドにおいて研究成果を活用し，海洋環境調査，水中構造物調査に関する基盤技術を確立する.
・水中画像処理技術に関して、水中の濁度や透明度等の環境パラメータと鮮明化処理パラメータの関連性解析をもとに、前年度は球磨川の橋梁 の水中部のクラック検査や橋梁の洗掘調査実験を行った.引き続き本年度も河川の橋梁において実験を行い，鮮明化されが画像をもとに3次元 マップを構築し，鮮明化技術を評価する.
・支援船への海底面画像の超音波伝送技術に関して、AUVの水中環境，支援船の受信機の姿勢，複数の超音波通信装置の利用，スラスタによるノイズ発生等の課題への対処，画像伝送技術に関する研究開発とその基盤技術の確立する。画像圧縮に人工知能の一つであるオートエンコーダを用いた画像圧縮技術を開発したが、本年度も引き続き検証を進める.
・水中構造物や船舶のメンテナンスを目的として、浅海域での自己位置推定システムを検証する。浅海域では水面反射による超音波のマルチパス問題，船舶近傍では船体による磁場の乱れにより，自己位置の推定が難しい。ロボットの姿勢情報，音響システム及び画像処理を統合し自己位置推定精度を検証する。
・水産養殖関係者へのヒアリングの結果、多くの課題が存在しロボットの導入が期待されている。スマート水産養殖を目指し，給餌量と養殖魚の活動量の関係を測定するセンサネットワークを開発したが，本年度は長期間に渡って生簀に設置し，給餌量最適化の研究を進める.
これらの課題を駿河湾や河川の橋梁，長崎五島等，実フィールドにおいて実証実験を通じて，その性能を評価し，水中環境用情報処理技術を確立する。

Research Products

• [Int'l Joint Research] the University of Southampton/Maritime Engineering/Blair Thornton(英国)
• [Int'l Joint Research] University of Southampton/Blair Thornton(英国)
• [Journal Article] An Attempt at Underwater Robot Competition which Aimed at Improvement of Learning Motivation (2022)
  • Author(s): AHN Jonghyun、SONODA Takashi、ISHII Kazuo
  • Journal Title: J. of JSEE Volume: 70 Issue: 2 Pages: 2_124-2_129
  • DOI: 10.4307/jsee.70.2_124
  • ISSN: 1341-2167, 1881-0764
  • Peer Reviewed
• [Journal Article] Deep-Sea Robotic Survey and Data Processing Methods for Regional-Scale Estimation of Manganese Crust Distribution (2021)
  • Author(s): Neettiyath Umesh、Thornton Blair、Sangekar Mehul、Nishida Yuya、Ishii Kazuo、Bodenmann Adrian、Sato Takumi、Ura Tamaki、Asada Akira
  • Journal Title: IEEE Journal of Oceanic Engineering Volume: 46 Pages: 102-114
  • DOI: 10.1109/joe.2020.2978967
  • NAID: 120007126733
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] An Optical Image Transmission System for Deep Sea Creature Sampling Missions Using Autonomous Underwater Vehicle (2020)
  • Author(s): Ahn Jonghyun、Yasukawa Shinsuke、Sonoda Takashi、Nishida Yuya、Ishii Kazuo、Ura Tamaki
  • Journal Title: IEEE Journal of Oceanic Engineering Volume: 45 Pages: 350-361
  • DOI: 10.1109/joe.2018.2872500
  • NAID: 120007026457
  • Peer Reviewed
• [Journal Article] Evaluation of the Relationships between Saliency Maps and Keypoints (2020)
  • Author(s): Mochizuki Ryuugo、Ishii Kazuo
  • Journal Title: Journal of Robotics, Networking and Artificial Life Volume: 7 Pages: 16-16
  • DOI: 10.2991/jrnal.k.200512.004
  • NAID: 120007017226
  • Peer Reviewed / Open Access
• [Journal Article] Robot competition for underwater technology researchers and students (2020)
  • Author(s): Yuya Nishida, Takashi Sonoda, Takayuki Matsuo, Shinsuke Yasukawa, Masanori Sato, Yasunori Takemura, Kazuo Ishii
  • Journal Title: Journal of Advances in Artificial Life Robotics Volume: 1 Pages: 11-15
  • NAID: 120007017221
  • Peer Reviewed / Open Access
• [Journal Article] A new rotary actuator capable of rapid motion using an antagonistic cam mechanism (2020)
  • Author(s): Katsuaki Suzuki, Yuya Nishida, Takashi Sonoda, Kazuo Ishii
  • Journal Title: Journal of Advances in Artificial Life Robotics Volume: 1 Pages: 143-151
  • NAID: 120007017231
  • Peer Reviewed / Open Access
• [Journal Article] Development of Dam Inspection Underwater Robot (2019)
  • Author(s): Hirai Hiroyasu、Ishii Kazuo
  • Journal Title: Journal of Robotics, Networking and Artificial Life Volume: 6 Pages: 18-22
  • DOI: 10.2991/jrnal.k.190531.004
  • Peer Reviewed
• [Journal Article] Vision System for an Autonomous Underwater Vehicle with a Benthos Sampling Function (2018)
  • Author(s): Yasukawa Shinsuke、Ahn Jonghyun、Nishida Yuya、Sonoda Takashi、Ishii Kazuo、Ura Tamaki
  • Journal Title: J. Robot. Mechatron. Volume: 30 Issue: 2 Pages: 248-256
  • DOI: 10.20965/jrm.2018.p0248
  • NAID: 130007499244
  • ISSN: 0915-3942, 1883-8049
  • Peer Reviewed / Open Access
• [Journal Article] Underwater Platform for Intelligent Robotics and its Application in Two Visual Tracking Systems (2018)
  • Author(s): Nishida Yuya、Sonoda Takashi、Yasukawa Shinsuke、Nagano Kazunori、Minami Mamoru、Ishii Kazuo、Ura Tamaki
  • Journal Title: J. Robot. Mechatron. Volume: 30 Issue: 2 Pages: 238-247
  • DOI: 10.20965/jrm.2018.p0238
  • NAID: 130007499268
  • ISSN: 0915-3942, 1883-8049
  • Peer Reviewed / Open Access
• [Presentation] Underwater Acoustic Communication using QPSK Modulation Method,Proceedings of 2022 International Conference on Artificial Life and Robotics (2022)
  • Author(s): Yuya Nishida, Yuichiro Uemura, Rikuto Tanaka, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Underwater Acoustic Positioning Based on MEMS Microphone for a Light weight Autonomous Underwater Vehicle “Kyubic” (2022)
  • Author(s): Irmiya R. Inniyaka, Dominic B. Solpico, Daiki Hamada, Akihiro Sugino, Rikuto Tanaka, Yuya Nishida, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Autonomous Underwater Vehicle with Vision-based Navigation System for Underwater Robot Competition (2022)
  • Author(s): Kazuki Harada, Riku Fukuda, Yusuke Mizoguchi, Yusuke Yamamoto, Kota Mishima, Yoshiki Tanaka, Yuya Nishida, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] A Network of Underwater Sensors Estimating Feeding Behavior for Digitizing Optimized Feeding Decisions in Marine Aquaculture (2022)
  • Author(s): Dominic B. Solpico, Yuya Nishida, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Motion Control of a Ship Hull Cleaning Robot (2022)
  • Author(s): Hyoga Yamamoto,Yuya Nishida, Takayuki Matsuo, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Ultrasonic Cleaner using Two Transducers for Ship Hull Cleaning Robot (2022)
  • Author(s): Yuya Nishida, Toshihiro Matsumura, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] An Estimation Method of Coastal Ocean Debris Using Aerial Drone (2022)
  • Author(s): Kazuo Ishii, Kanako Shirahashi, Yuya Nishida, Moeko Tominaga, Yoshiki Tanaka, Dominic B. Solpico
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Reflection Coefficient Estimation through the Modelling of Ultrasonic Transmission (2022)
  • Author(s): Ryuugo Mochizuki, Yuya Nishida, Kazuo Ishii
  • Organizer: 2022 International Conference on Artificial Life and Robotics
  • Int'l Joint Research
• [Presentation] Motion control considering the effects of cable deflection caused by gravity and fluid resistance for Cable-restricted Underwater Vehicle (2021)
  • Author(s): Yoshiki Tanaka, Yuya Nishida, Kazuo Ishii
  • Organizer: IEEE OCEANS 2021 San Diego
  • Int'l Joint Research
• [Presentation] Underwater Current Measurements for Fish Feeding Control in Marine Aquaculture (2021)
  • Author(s): Dominic B. Solpico, Yuya Nishida, Kazuo Ishii
  • Organizer: IEEE OCEANS 2021 San Diego
  • Int'l Joint Research
• [Presentation] MEMSマイクを用いた音響測位装置の開発 (2021)
  • Author(s): 濱田 大貴, 末吉 弘昌, 増田 殊大, 西田 祐也, 石井 和男
  • Organizer: ロボティクス・メカトロニクス講演会2021
• [Presentation] Towards building of an underwater robot monitoring fish appetite for feeding management:Development of sensors for measuring fish-generated underwater currents as indicator for feeding behavior (2021)
  • Author(s): SOLPICO Dominic, NISHIDA Yuya, ISHII Kazuo
  • Organizer: ロボティクス・メカトロニクス講演会2021
• [Presentation] Underwater 3D Scanner Using RGB Laser Pattern (2021)
  • Author(s): Yuya Nishida, Shinsuke Yasukawa, Kazuo Ishii
  • Organizer: 2021 IEEE/SICE International Symposium on System Integrations (SII)
  • Int'l Joint Research
• [Presentation] Development of a Handy Autonomous Underwater Vehicle“Kyubic” (2021)
  • Author(s): Toshimune Matsumura, Yuichiro Uemura, Kentaro Yanagise, Yoshiki Tanaka, Yuya Nishida, Kazuo Ishii
  • Organizer: International Conference on Artificial Life and Robotics 2021
  • Int'l Joint Research
• [Presentation] Underwater image reconstruction using convolutional auto-encoder (2021)
  • Author(s): Shinsuke Yasukawa, Sreeraman Srinivasa Raghura, Yuya Nishida, Kazuo Ishii
  • Organizer: International Conference on Artificial Life and Robotics 2021
  • Int'l Joint Research
• [Presentation] Development of current sensors for digitizing expert knowledge in fish feeding towards sustainable aquaculture (2021)
  • Author(s): Dominic B. Solpico, Yuya Nishida, Kazuo Ishii
  • Organizer: International Conference on Artificial Life and Robotics 2021
  • Int'l Joint Research
• [Presentation] Motion control of a cable-restricted underwater vehicle for long-term spot observation (2021)
  • Author(s): Yoshiki Tanaka,Yuya Nishida, Kazuo Ishii
  • Organizer: International Conference on Artificial Life and Robotics 2021
  • Int'l Joint Research
• [Presentation] ケーブル拘束型海中ロボットによる長期観測手法:―第1報 ケーブルの拘束条件を基にした自己位置推定― (2020)
  • Author(s): 田中 良樹, 西田 祐也, 石井 和男
  • Organizer: ロボティクス・メカトロニクス講演会講演概要集
• [Presentation] 生物捕獲用自律型海中ロボットの開発:―小型キャニスター付きスラープガンを用いた連続サンプリング― (2020)
  • Author(s): 西田 祐也, 安川 真輔, 園田 隆, 井上 昇悟, 渡邉 啓介, 石井 和男
  • Organizer: ロボティクス・メカトロニクス講演会講演概要集
• [Presentation] Sea trials for benthos sampling using autonomous underwater vehicle (2020)
  • Author(s): Nishida Yuya、Yasukawa Shinsuke、Sonoda Takashi、Watanabe Keisuke、Ishii Kazuo
  • Organizer: International Conference on Artificial Life and Robotics 2020
  • Int'l Joint Research
• [Presentation] Field Experiments of Underwater Image Transmission for AUV (2020)
  • Author(s): Yasukawa Shinsuke、Nishida Yuya、Ahn Jonghyun、Sonoda Takashi、Yanagise Kentaro、Watanabe Keisuke、Ishii Kazuo
  • Organizer: International Conference on Artificial Life and Robotics 2020
  • Int'l Joint Research
• [Presentation] Development of Subsea Creature Monitoring Station for AUV Exploration Assistance (2020)
  • Author(s): Watanabe Keisuke、Utsunomiya Koshi、Harada Kazumasa、Sadiq Amir、Ishii Kazuo
  • Organizer: International Conference on Artificial Life and Robotics 2020
  • Int'l Joint Research
• [Presentation] Evaluation of the Relationships Between Saliency Maps and Keypoints (2020)
  • Author(s): Mochizuki Ryuugo、Ishii Kazuo
  • Organizer: International Conference on Artificial Life and Robotics 2020
  • Int'l Joint Research
• [Presentation] Reports of 7th underwater robot festival in Kitakyushu (2020)
  • Author(s): Nishida Yuya、Sonoda Takashi、Matsuo Takayuki、Yasukawa Shinsuke、Sato Masanori、Takemura Yasunori、Ishii Kazuo
  • Organizer: International Conference on Artificial Life and Robotics 2020
  • Int'l Joint Research
• [Presentation] Evaluation of underwater vehicle's self-localization based on visual odometry or sensor odometry (2019)
  • Author(s): Tanaka Y., Semmyo A., Nishida Y., Yasukawa S., Ahn J., Ishii K.
  • Organizer: 2019 IEEE 14th International Conference on Industrial and Information Systems: Engineering for Innovations for Industry 4.0, ICIIS 2019
  • Int'l Joint Research
• [Presentation] Introduction to field robotics and robot competition (2019)
  • Author(s): Kazuo Ishii
  • Organizer: 2019 IEEE 14th International Conference on Industrial and Information Systems: Engineering for Innovations for Industry 4.0, ICIIS 2019
  • Int'l Joint Research / Invited
• [Presentation] Computer vision and Robotics, and Machine learning for robotics (2019)
  • Author(s): Shinsuke Yasukawa
  • Organizer: 2019 IEEE 14th International Conference on Industrial and Information Systems: Engineering for Innovations for Industry 4.0, ICIIS 2019
  • Int'l Joint Research / Invited
• [Presentation] MATLAB/Simulink implementation for robot programming (2019)
  • Author(s): Takashi Sonora
  • Organizer: 2019 IEEE 14th International Conference on Industrial and Information Systems: Engineering for Innovations for Industry 4.0, ICIIS 2019
  • Int'l Joint Research / Invited
• [Presentation] An AUV Based Method for Estimating Hectare-scale Distributions of Deep Sea Cobalt-rich Manganese Crust Deposits (2019)
  • Author(s): Umesh Neettiyath, Blair Thornton, Mehu Sangekar, Yuya Nishida, Kazuo Ishii,Takumi Sato, Adrian Bodenmann
  • Organizer: OCEANS 2019 - Marseille
  • Int'l Joint Research
• [Presentation] Benthos Sampling by Autonomous Underwater Vehicle Equipped a Manipulator with Suction Device (2019)
  • Author(s): Nishida Y., Sonoda T., Yasukawa S., Ahn J., Watanabe K., Ishii K., Ura T.
  • Organizer: 2019 IEEE International Underwater Technology Symposium, UT 2019 - Proceedings
  • Int'l Joint Research
• [Presentation] Underwater Vehicle Localization Considering the Effects of its Oscillation (2019)
  • Author(s): Tanaka Y., Nishida Y., Ahn J., Ishii K.
  • Organizer: 2019 IEEE International Underwater Technology Symposium, UT 2019 - Proceedings
  • Int'l Joint Research
• [Presentation] Development and Sea Trials of Vision-Based Control for Sampling-AUV (2019)
  • Author(s): Yasukawa S., Nishida Y., Ahn J., Sonoda T., Watanabe K., Ishii K.
  • Organizer: 2019 IEEE International Underwater Technology Symposium, UT 2019 - Proceedings
  • Int'l Joint Research
• [Presentation] System Development of AUV’s Sampling Device Controller Employing MATLAB/Simulink Toolboxes (2019)
  • Author(s): Takashi Sonoda
  • Organizer: ICAROB2019
  • Int'l Joint Research
• [Presentation] Development of Dam Inspection Underwater Robot (2019)
  • Author(s): Hiroyasu Hirai
  • Organizer: ICAROB2019
  • Int'l Joint Research
• [Presentation] A Sea Creatures Classification Method using Convolutional Neural Networks (2018)
  • Author(s): Jonghyun Ahn
  • Organizer: ICCAS2018
  • Int'l Joint Research
• [Presentation] Sample return from deep ocean, (2018)
  • Author(s): Kazuo Ishii
  • Organizer: RoboCup Asia-Pacific Open 2018 Symposium
  • Int'l Joint Research / Invited
• [Presentation] 水中ロボットによる駿河湾沖海底生物自動サンプリングの成果報告～水中構造物調査への適用について～ (2018)
  • Author(s): 石井和男
  • Organizer: 建設ロボットシンポジウム2018
  • Invited
• [Patent(Industrial Property Rights)] 養殖魚の活動検知装置および活動検知方法並びに給餌制御装置 (2021)
  • Inventor(s): 西田祐也, 石井和男, ソルピコドミニク, 末次徳雄, 八並慶憲
  • Industrial Property Rights Holder: 西田祐也, 石井和男, ソルピコドミニク, 末次徳雄, 八並慶憲
  • Industrial Property Rights Type: 特許
  • Filing Date: 2021
• [Patent(Industrial Property Rights)] 水中観測システム及び水中観測方法 (2020)
  • Inventor(s): 西田祐也，田中良樹，石井和男
  • Industrial Property Rights Holder: 西田祐也，田中良樹，石井和男
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2020-090766
  • Filing Date: 2020