DNNによる特徴抽出を用いたDNN最適化とAI手法への転移システムの開発

Research Project

Project/Area Number	22K02906
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 09070:Educational technology-related
Research Institution	Ube National College of Technology (2023) Ishikawa National College of Technology (2022)
Principal Investigator	金寺登宇部工業高等専門学校, その他部局等, 校長 (50194931)
Project Period (FY)	2022-04-01 – 2025-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000) Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000) Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000) Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywords	深層ニューラルネットワーク / 特徴抽出 / AI
Outline of Research at the Start	AI戦略2019でも指摘されているように技術者全体のAI技術向上が急務であり，あらゆる分野の技術者がAI技術を学び活用できる環境構築が必須となっている。AI技術を用いて高い性能を得るにはモデル構成やパラメーターの最適化が必須である。これが，専門外の技術者にはAI技術活用の障害となっている。そこで本研究では，専門外の技術者でもDNN等のAI手法を活用できる教育実践環境を開発し，専門外の技術者が問題の解決そのものを注力できるようにする。また，本システムを利用してシステムを構築後，システムから提示される処理内容説明からAI手法を勉強する反転学習効果を検証する。
Outline of Annual Research Achievements	AI戦略2019では「Society 5.0 の実現を進める中で，我が国の国際的プレゼンスの向上と，産業競争力の抜本的強化を図っていかなければならない。その際、「人間中心のＡＩ社会原則」を踏まえ，性別，年齢，政治的信条，宗教等の多様なバックグラウンドにかかわらず多様な人材が，幅広い知識，視点，発想等に基づき，貢献できるようにすることが重要である。」と記述され，技術者全体のAI技術向上が急務であり，あらゆる分野の技術者が学び活用できるAI活用教育実践環境構築が必須となっている。AI技術を用いて高い性能を得るにはモデル構成やパラメーターの最適化が必須である。これが，専門外の技術者にはAI技術活用の障害となっている。そこで本研究では，専門外の技術者でもDNN等のAI手法を活用できる教育実践環境を開発し，専門外の技術者が問題の解決そのものに注力できるようにする。また，本システムを利用してシステムを構築後，システムから提示される処理内容説明からAI手法を勉強する反転学習効果を検証する。本研究の目的は，専門外の技術者でもDNN等のAI手法を活用できる教育実践環境を開発することである。まず重要なユニット抽出による深層ニューラルネットワークの最適化システムを構築し，専門外の技術者が問題の解決そのものを意識し開発できるようにする。また，DNNによる特徴抽出を用いたAI手法への転移システムを開発することにより，解決方法を可視化し理解しやすくするとともに，メモリや計算量の制約の中で高い性能を持ったシステムを実現可能にする。重要なユニット抽出を用いて専門外の技術者でもメモリや計算量の制約の中で高い性能を持ったシステムを実現可能にする点が学術的に独自的な点である。また，DNNによる特徴抽出結果をAI手法に適用した例はない。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 専門外の技術者でもDNN等のAI手法を活用できる教育実践環境を開発するため，以下の課題を明らかにした。課題① 各種DNNにおいて重要なユニット抽出ができるかを定量的に明らかにした。DNN内部の処理を可視化する方法の一つとして，ニューラルネットワーク出力を入力で偏微分した値の標準偏差が大きいときに，対応する入力が重要であると判定する方法を提案した。この指標（重要度）が階層型ニューラルネットワークだけでなく，畳み込みネットワーク(CNN)や再帰型ニューラルネットワーク(RNN)にも有効であることを確認した。課題② 各種DNN構成から自動的に最適な構成を選択できるかを定量的に明らかにする方法を検討した。ハイパラメータ最適化ライブラリOptunaを利用し，DNNユニット数や，DNN層の最適化が行え，メモリや計算量を削減できることを確認した。音声認識DNNだけでなく，猛禽類の識別や交通量調査においてもOptunaでの最適化の効果を確認した。課題③ 重要なユニット出力を特徴量に加味して既存のAI手法に適用した場合，どの程度の性能が向上するか調査した。まず重要なユニット出力を特徴量として抽出し，次に，重要なユニット出力特徴量を入力として，決定木，ランダムフォレストなどのAI手法に適用した。その結果，一つの決定木では十分な性能を確保できないが，十分な深さの決定木を複数使用するランダムフォレストを利用することにより、DNNを同程度の性能を維持できることを確認した。ランダムフォレストなどを併用すれば，計算量やメモリが節減できるだけでなく，何を根拠として識別しているかが説明しやすくなる。課題④ DNN最適化とAI手法への転移システムに必要となる基盤システムを開発した。
Strategy for Future Research Activity	これまでに課題①の各種DNNにおいて重要なユニット抽出ができるかを定量的に明らかにした。課題②については，ハイパラメータ最適化ライブラリOptunaを利用し，DNNユニット数や，DNN層の最適化が行えることを確認し，どの程度メモリや計算量が低減できるかを定量的に調査した。また，複数のDNN構成から自動的に最適な構成を選択できるかを確認した。課題③については，重要なユニット出力を特徴量に加味して既存のAI手法に適用した場合の性能，計算量，メモリの削減効果を明らかにした。さらに，DNNの種類として全結合型，CNN，RNN，最適なユニット数，最適な層数，AI手法として決定木，ランダムフォレスト，回帰木など様々な組み合わせを調査検証した。課題④として，専門外の技術者でも利用可能なDNNの最適化とAI手法への転移システムを開発する。利用者は学習データを与えるだけで，適切なDNN構造を自動選択し最適化できる。さらにDNN中の重要なユニット出力を特徴量の候補として各種AI手法に適用し最適なAI手法候補が提示される。提示された候補から利用者が必要とするメモリや計算量に適した方法を選択できる。AI手法と統合することによって，内部の処理が理解しやすくなりシステムの処理内容の説明が可能になる。