| 研究課題/領域番号 |
22K12077
|
|---|
| 研究機関 | 琉球大学 |
|---|
研究代表者 |
野崎 真也 琉球大学, 工学部, 准教授 (00390568)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 深層学習 / コドラート / GAN / SCORE-CAM |
|---|
| 研究実績の概要 |
海底の画像内から基質（主にサンゴや岩）の判別を行うために、深層学習をベースにした研究を行う。
海底の画像のために、画像が鮮明でない点、基質の形状が複雑である、学習用画像の数が十分ではない、などの問題点を踏まえて、GANを用いて学習用画像を増やし、かつScore-CAMを用いて判別の可視化を行った。
GANを用いた際にはDCGANおよびStyleGAN-ADAを用いて実験を行い、DCGANは本研究には有用でないことが確認され、StyleGAN-ADAでは有用であることが確認された。FIDで本研究により得られた画像について定量的な評価は行い有用である傾向は確認されたが、目視による評価と異なる点も散見された。今後は定量的な評価と目視の評価について総合的に評価を行う。
また、CAMによる可視化については、当初からCAMの中からScore-CAMが適していると見込んでいたが、他のCAMの結果とも確認し、他のCAMとは有意な差は見られなかったためにScore-CAMを用いることは再確認した。また、CAMに関しては画像の輪郭情報の取り扱いがポイントになるので、統計的に輪郭情報を扱えるICAの併用も検討し実験を行った。その結果、ICAと併用しつつカラー情報もハイブリッドで行うことで有用な可視化ができることを確認した。しかし、CAMを用いた実験に関してCNNの学習プロセスおよびデータセットについては改善の余地があり、これらを改善した上で再実験を行う予定である。
現時点での最善のモデルで基質判別の2次元化（各々の点での判別ではなく面としての判別）を行った。画像内のエリアによって判別精度に差が見られた。現在のモデルをより安定的に判別できれば判別に有用であることが確認された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
GANを用いる際に、DCGANおよびStyleGAN-ADAによる結果が大きな差を生じたことと、従来の定量的評価および目視による評価が大きかった点で時間を要したが、総合的な評価まで行えば有用な手法として期待できる。
DCGANについては、すべての結果が解像度が十分でないことが確認された。一方でStyleGAN-ADAについては、枝状サンゴ、被覆状サンゴ、ソフトコーラルなどのすべての形状について概ね有用であることが確認された。海底画像特有の緑色に見える部分について十分ではないものの、チューニングで解決であると見込んでいる。
CAMについては、当初からScore-CAMを用いる予定ではあったが、他のCAMを適用してその結果を確認の上で詳細部分のアプローチを検討するという計画で着手した。他のCAMとも比べて大きな有意な差が確認できたため、Score-CAMを用いることになった。この手法が画像の輪郭情報がポイントになっているので、統計的に輪郭情報を扱える独立成分分析(ICA)を用いた上で可視化する方が適切ではないかと研究を進める上で新たなアイデアとして浮上し、カラー画像も適切に用いることで結果が得られることが確認された。しかし、ICAも併用した手法で、深層学習部分でのモデル構築についてカテゴリ分けなどについて多くの時間を要した。
現時点での最善のモデルで基質判別の2次元化（各々の点での判別ではなく面としての判別）を行った。画像内のエリアによって判別精度に差が見られた。特に被覆状サンゴの部分と枝状サンゴ、岩などの基質によって差が大きく生じたので、安定的に判別の精度が求められる。また、周辺画素の取り方についても改善の余地があり、その検討に時間を要している。
|
| 今後の研究の推進方策 |
DCGANおよびStyleGAN-ADAを用いた枝状サンゴの画像生成およびその評価については、学会発表済みである。枝状サンゴや被覆状サンゴや岩などの他の基質については結果は得られているが、まとめている段階なので2024年度に発表予定である。StyleGAN-ADAの手法については、海底独自の色合いも考慮すれば更なる精度向上が見込めるので取り組む。
ICAを併用した方法は可視化した画像について定量的な評価を盛り込む。これまでの結果もまとめている段階であり、2024年度に発表予定である。また学習モデルの構築についても再検討を行い、基質判別に適した学習モデルを構築する。この結果についてもこれまでに得られた結果をまとめつつ、上記２点の改善を行い質もしくは精度の向上を確認した後に、面としての基質判別を行う。判別を行う画像について、クリアな画像や海水による劣化した画像、多くの基質が含まれている画像や基質が少ない画像などに分け評価を行う。それにより、本手法がどの種類の画像について精度が異なるかを定量的に確認することで、さらなる改善点を見つける。
上記が内容を達成した際には、更なる高度化・実用化を目指して新たな海底画像を取得して実験を行う。その際には天候・時間などの条件も複数用意して本手法の性能評価に用いる。
|
| 次年度使用額が生じた理由 |
CAMの手法による可視化を試みた際に複数のCAMの手法での比較検討に時間を要したことと、Score-CAM単独の手法の適用結果だけでは十分な可視化を得られないことが確認され、補助的手法を用いることを調査し、独立成分分析との併用でより質の高い可視化が得られることを確認した。そのために可視化に関する研究で新たな手法との結合を行うことにより時間を要したために、この研究成果の発表を来年度に行うことにした。
また、2022年度で購入した計算機で学習時間を大幅に削減することができたが、実験を行うにはまだ時間を要するので、2024年度ではもう一台計算機を導入し学習時間および計算時間の削減を行う予定である。新たに導入する計算機のスペックは概ねCore i9、64GB、GeForce RTX 4070、ストレージ1TBSSD、ATX電源800W 80PLUS GOLD認証を想定しており、その概算は30万程度となり、2024年度に執行予定である。
また、これまでの研究で用いた学習用画像は数万枚程度であるが、2023年度で得られた生成画像の数も数千から数万程度となり、安定的でかつ大容量のストレージが必要になったので、2024年度でこれらの条件を満たすストレージを導入する。
|
