| Project/Area Number |
21K17809
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Hiroshima City University (2022-2023)
Prefectural University of Hiroshima (2021) |
|---|
Principal Investigator |
鎌田 真 広島市立大学, 情報科学研究科, 准教授 (30845178)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 深層学習 / マルチモーダル / 構造適応型学習 / ビッグデータ / 知識獲得 |
|---|
| Outline of Research at the Start |
本研究では，音声，自然言語等の複数のモダリティを並列的に処理し，モダリティ間の関係性を考慮した上で合成・融合し，最終的な出力判定を行うマルチモーダル構造適応型深層学習を探求する。複数のモデル間の確率分布の違いをKL情報量により測定し，類似性に基づいてモダリティ間の共通成分を知識獲得手法について研究する。入力に欠損値があった場合や一つのモダリティで曖昧な判定が行われた場合でも，別のモダリティがもつ知識に基づいて補間し，その他の情報と合成することで人間のような高次の情報処理を実現する。動画等のビッグデータに適用し評価する。
|
| Outline of Annual Research Achievements |
入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。本手法は，様々な画像分類ベンチマークデータセットに対して従来手法よりも高い分類精度を示してきた。さらに，KL情報量に基づき，複数モデルを用いたTeacher-Student型構造適応型深層学習法を開発し，顔感情分類，胸部X線画像における疾病検出，コンクリート画像におけるひび割れ検出，衛星写真からの道路検出，時系列データ予測などへの応用を行い，本手法の有効性を示してきた。しかしながら，顔や音声に含まれる感情の分類などの複雑で曖昧性をもつデータについては，単一のモダリティのみでは判定困難なケースが見られた。深層学習では，複数の異なる入力を同時に学習するマルチモーダル深層学習が提案されているが，各モダリティ間の特徴や知識表現に基づき，最終判定のために適切に合成・融合する手法は少ない。このため，本研究では，動画像，音声等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習について探求した。音声付きの顔表情動画から8種類の顔感情を推定するデータセットRAVDESSを用いて提案手法の性能評価を行ったところ，音声と顔表情画像の2つのモダリティに対して，結合パラメタを適切に調整した上で合成し，予測することで，従来手法よりも高い分類性能が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度では，マルチモーダル深層学習として，親モデルと複数の子モデルを用いたTeacher-Student構造適応型深層学習法の改良を行った。入力データに含まれる多様な特徴を親モデルと複数の子モデルで学習し，KL情報をもとに，子モデルに蓄積されている特徴や知識表現を親に転移させることで，分類性能の向上を実現した。開発したモデルを複数のデータセットに適用し，手法の評価を行った。具体的には，MRI/PET画像に適用し，認知症早期判定のための深層学習システムを開発した。また，航空写真とグラフ探索に基づき，道路網地図を自動検出するRoadTracerに適用し，既存の手法よりも高い性能を示し，論文投稿を行った。さらに，マルチモーダル深層学習として，多様なデータを学習可能にするため，構造適応型深層学習法におけるセグメンテーション手法を開発した。以前の研究で提案した学習済み深層学習における知識獲得手法に基づき，中間層で得られた特徴パタンから，入力画像における物体の可能性をヒートマップとして可視化し，出力する手法を開発した。公開されている肺の3次元CT画像を用いて，腫瘍領域を自動で抽出するセグメンテーションタスクに適用したところ，既存の手法より高い性能が得られた。
2023年度では，得られた成果に基づき，動画像，音声等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習法を開発した。RAVDESSデータセットを用いた評価では，異なるモダリティを適切に合成することで，分類性能が向上することが分かり，当初予定していた研究成果が得られた。一方で，学会等で研究成果を公表し，手法の改良を行うため，研究を2024年度まで延長することとした。このため，現在までに進歩状況を，「おおむね順調に進展している」とした。
|
| Strategy for Future Research Activity |
得られた研究成果について，学会等で発表し，外部からの評価を受ける。必要に応じて，手法の改良を行う。
|
