Development of a bottom-up explainable discriminator construction method and its application to social-infrastructure problems

Research Project

Project/Area Number	23K11248
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 61040:Soft computing-related
Research Institution	Osaka University
Principal Investigator	巽啓司大阪大学, 大学院工学研究科, 准教授 (30304017)
Co-Investigator(Kenkyū-buntansha)	尹禮分関西大学, 環境都市工学部, 教授 (10325326)
Project Period (FY)	2023-04-01 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000) Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000) Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywords	インフラ建設時の補強度合決定 / サポートベクトルマシン / リカレントネットワーク / 機械学習 / 説明可能性 / 経験知置換 / インフラ設計 / クラスタリング
Outline of Research at the Start	本研究では，大型構造物建設時の補強度合決定問題に着目．この構造物は，区間ごとに逐次建設され，各区間で観測される多数の項目値 (観測ベクトル)・自然状況をもとに，熟練者により補強度合決定が行われる．その手順を，説明可能な複数の識別器から構成される総合識別器に置き換える機械学習法を提案する．入出力の単調性などの要件を満たしつつ，サポートベクトルマシンや再帰型ネットワークを基本的な識別器として使用．各区間入力が，その自然状況により特徴づけられると仮定し，自然状況時系列データの全体集合をデータ分割し，各分割データごとの識別により，汎化性の高い総合識別器を探索するボトムアップ型の識別器構成法を開発する．
Outline of Annual Research Achievements	令和５年度の当初の計画通り，「従来の多クラスサポートベクトルマシン（SVM）の改良」として，SVMの改良を提案し，(i)過去区間入力ベクトル中の異なる自然状況ごとに専用の重みを用いる方法 (ii) 経験値に基づいた固定重みdの近傍に過去区間入力に対する重みを限定する方法の２つを提案し，その実装時の様々なバリエーションを，多数の異なる現場での構造物建設データを用いて，補強度決定問題に適用，識別率を検証した．また，さらに当初計画通り，もう一つの機械学習法「リカレントネットワーク（RNN）の適用」も試みた．従来研究比較された，定式化を参考にして，中間層にフィードバック機構を持つ Elmanリカレントネットワークを選択し，SVMでの結果を参照しつつ，(i)入力ベクトル中の異なる自然状況ごとに専用の入力・中間層間の重みを使用する方法，(ii)経験知に基づく固定重みdを用いて学習時の初期重みを限定する方法の２つを提案，数値実験により決定問題に適用した際の識別率を検証した．どちらも，2つの手法の導入により，従来法のSVMと比較して，識別能力の指標での改善を確認した．特に，従来法の問題点「ラベル変化隣接２区間での識別率」が上昇した．また，それぞれの手法の長所・欠点を確認：RNNでは，用いる時系列認識問題の入力次元数がSVMより小さく，より保守的な識別結果が得られる一方，標準偏差は小さいが得られる重みの一意性がない，設定パラメータ数はSVMより増加，識別関数に非線形性を含む．SVMについては，ラベル変化隣接２区間での識別率がRNNより高く，設定パラメータ数が少なく，一意に解が得られる．両手法の共通の欠点として，経験知に基づく固定重みの使用が，従来法のようにそのまま使用することはないが，その値から大きく離れたよりよい重みを含む可能性のある領域を求解していない．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason R5年度計画の「多クラスSVMの改良」と「RNNの適用」および，その実装のための改良法を提案，それらによる識別能力の向上を数値実験で確認した．概ね順調に進展している．ただ，「過去区間情報をスカラー化するため熟練者により得らえた経験知に基づく重みを使用」に対する改良として，それらの重みを学習する方法を提案したが，使用識別器の複雑性の増加を防ぐため，経験知に基づく重みの近傍内の重みを求める方法を導入して識別器集合をある程度限定することになり，十分に多様な重み候補集合を求解していない問題が残っている．
Strategy for Future Research Activity	R5年度に提案したSVM，RNNについて，まだ検証していないバリエーションについてそれぞれ検討する：SVMについては，1目的関数の最小化として定式化しているが，汎化性能の高い識別器が多数，解集合に存在するもののそれを積極的に峻別し，最適解として求めることができていない．識別誤差最小化とマージン最大化の2目的を最適化する多目的最適化問題としての定式化を導入，各解をより詳細に峻別可能な定式化を行い，多目的最適化手法を援用することで，識別率の高い解を求める方法を検討する．RNNに関しては，出力層からの予測出力のフィードバックをもつRNN，もしくは，中間層・出力層フィードバック機構をもつRNNなどの他のモデルを用いてその識別性能を検証する．また，「経験知に基づく固定重みから大きく離れた多様な重み候補からの選択ができていない」問題に対する対応として，当初計画にあるとおり，入力空間を何らかの視点でクラスタリングした上で，そのそれぞれに機械学習法を適用し，識別関数の複雑さをあまり上昇させずに，識別率を上昇させる新たな方法を検討する．さらに，各建築現場での識別状況に差があることの解決として，建築現場付近での地質情報をオープンデータなどを用いて取り込むことで，従来よりもより詳細な状況情報を利用することによる識別率向上を目指す方法も検討する．