Development of a Structural Optimization Method for the Midship Section of a Ship with Deep Reinforcement Learning AI incorporating Principal Dimensions as Design Variables

• Project/Area Number: 23K13508
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 24020:Marine engineering-related
• Research Institution: National Institute of Technology (KOSEN), Kure College
• Principal Investigator: 野波 諒太 呉工業高等専門学校, 機械工学分野, 助教 (70849562)
• Project Period (FY): 2023-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
• Keywords: 深層強化学習 / AI / 構造最適化 / 船舶 / DDQN / 船舶設計

Outline of Research at the Start

本研究は，船体中央断面の軽量化設計を目的として，強化学習AIを応用した構造最適化手法を提案する．従来の最適化手法では，船体主要寸法を設計変数に含めることが現実的でなく，燃費改善や材料コスト削減が難しい状況であった．本研究では，近年注目される強化学習AIを活用し，この問題を解決できることを示す．提案手法では，船体中央断面の最適化と同時に強化学習済AIを生成し，異なる主要寸法の船体中央断面を高速で最適化することで，主要寸法を含めた最適な船体構造を自動的に決定することが可能となる．

Outline of Annual Research Achievements

本申請研究では深層強化学習AIを使用して船舶の主要寸法と板厚・補強材を設計変数とした最適化を目的としている．その目的を達成するアルゴリズムとしてDDQNと呼ばれる深層強化学習アルゴリズムをベースとした最適化アルゴリズムを構築している．
構築したアルゴリズムを使用し、簡易モデルとして作成した薄板の片持ち梁の板厚を設計変数として最適化を行った．AIの行動を板厚の変化と定義し、その行動が最適化目標を達成すると報酬が与えられる，この最適化アルゴリズムにより質量最小化を目的とした最適化を行った結果、遺伝的アルゴリズム（GA）よりも少ない計算回数で最適解を得ることができた。また、複数の設計変数を持つ構造最適化問題においても高いパフォーマンスを示し、GAでは達成できない最適化を可能にした。これにより、強化学習を用いた構造最適化の大きな可能性が示された。次に船体を模擬した補強材付きの大型構造物モデルに対して，本最適化アルゴリズムを適用し、板厚と補強材形状という異なる種類の設計変数の同時最適化が可能であることが示された．この場合もGAよりも高い最適化パフォーマンスを発揮した．
本申請研究では最適化の過程で生成された深層強化学習AIを再利用することで、船体の主要寸法変更後に高速で最適化することを目指しているため，AIの再利用に関する検証を行った．上述の補強材付きの大型構造物モデルを一度最適化することに生成されたAIを，主要寸法ご異なるモデルに対して使用することで，AIを再利用しない場合に比べて約50％最適化時間を短縮することが可能であることが示された．以上のように申請研究の目的を達成するための実績は積み上がっていると考えている．

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

やや遅れている理由としては，計画になりアルゴリズムを構築する必要が生じたためである．当初の計画通り構築したアルゴリズムは板厚と補強材を設計変数とした船体構造の最適化において，計画通りGAよりも高い最適化性能を示す結果が得られた．しかしながら，最適化の過程で生成された強化学習AIを再利用して異なる寸法のモデルの最適化を高速で行えることを検証したところ，ほとんど効果が無いという結果となった．この問題を解決するために，最適化アルゴリズムの見直しを行い，当初の計画にはなかった，いくつかのアルゴリズムを考案し最適化アルゴリズムに組み込み，試行錯誤を繰り返した．そのため，最終的にはAI再利用による最適化計算時間を50％減少と有効性を示す結果が得られたが，試行錯誤の過程で，数か月の時間を要した．このアルゴリズムの検証は当初の計画にはなく，この工程により計画の遅れが発生した．遅れはあるものの当初の計画を達成するためのアルゴリズムは構築できており，研究の遅れを取り戻すことも可能であると考えている．

Strategy for Future Research Activity

本研究は大きく分けると2段階の研究となっており，1段階目の板厚と補強材を設計変数とした構造最適化を深層強化学習AIによって行うためのアルゴリズムの構築及び検証は完了した．現在は2段階目の深層強化学習AIの再利用に取り組んでおり，簡易モデルでの検証は完了し有効性を示すデータは得られた．そこで，今後の研究としては計画の最終段階である実際の船舶モデルに対して深層強化学習AIの再利用を行い，主要寸法変更後も高速で最適化が可能であることを検証する．そのために，船舶のFEMモデルを作成し，現在構築済の最適化アルゴリズムをこのモデルに対して適用可能なように調整を行う予定である．調整後は有効性を示すための十分なデータを取得するために，最適化計算を実施する．

Research Products

• [Presentation] 深層強化学習AIによる板厚最適化手法の提案 (2023)
  • Author(s): 野波諒太
  • Organizer: M&M・CMD 若手シンポジウム 2023