| Project/Area Number |
23K11266
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Tokyo City University |
|---|
Principal Investigator |
神野 健哉 東京都市大学, 情報工学部, 教授 (50286762)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 深層学習 / 潜在変数 / マルチモーダル / 表現学習 / 特徴抽出 |
|---|
| Outline of Research at the Start |
本研究の目的は「深層学習における潜在変数の質を解析し、モダリティに依らないより高品質な潜在変数の構成法を検討すること」である。
深層学習モデルは大量の高次元データを対象とした複雑な問題の学習が可能である。深層学習は様々なモダリティの入力に対して活用されており、その特徴量の抽出は表現学習と呼ばれる。これまでの深層学習では出力データの品質を良くすることに重きが置かれ、潜在変数が表現する情報の質に関する検討はあまりされていない。そこで潜在変数から出力を生成するデコーダを用いて潜在変数の各次元の役割を明らかにすることをまずは行う。その上で出力の品質を向上させる潜在変数について検討を行う。
|
| Outline of Annual Research Achievements |
本研究課題では深層学習における潜在変数の質を解析し、モダリティに依らない高品質な潜在変数の構成法を検討することが目的である。そのような潜在変数を得るための学習方法、また得られた潜在変数を活用したシステムの開発も目的であり、2023年度は以下の点に着目し研究を実施した。 (1) 大規模自然言語処理システムに文章を与えた際に得られる潜在変数の性質を確認するために、日本語コンテンツで事前学習されたSentence-BERTをEncoderとみなし入力文章を潜在変数に変換した。この潜在変数の性質を可視化するため、この潜在変数から入力文章に対応した画像を生成することが可能なDecoderを設計した。このDecoderで生成される画像を用いて、潜在変数空間内に特定形状の物体の色を表す超平面が存在すること、物体形状を表す超平面が存在することを明らかにした。 (2) 画像が形、色、テクスチャでそれぞれ分類されるような場合に潜在変数の分布がどのようになるかを実験的に解析した。その結果、画像によって形状、色空間で潜在変数空間にクラスターが生成されることを明らかにした。 (3) U-Netを基本とした画像変換タスクを実現するEncoder-Decoderモデルを提案し、それぞれの深さでのスキップ接続がどのような情報伝達を行なっているのかを実験的に明らかにした。 (4) 潜在変数の分布を評価関数に用いて性能の良い人工ニューラルネットワーク構成を検討することができるかについて解析を行った。その結果、学習初期の状態から学習後の性能を予測できることを明らかにした。また潜在変数の評価関数の構成法についても検討を行い、新たな評価指標の創出を目指した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通りに研究を実施できている。
|
| Strategy for Future Research Activity |
2024年度は前年度に引き続き深層学習における潜在変数の質を解析し、モダリティに依らない高品質な潜在変数の構成法を検討する。
そのため、画像とその画像を説明した文章の潜在変数がモダリティによらず類似した変数にできるかについて検討を行う。それぞれのモダリティに対応したエンコーダを用意し、モダリティは異なっても対象が同一である場合にそれらの潜在変数間の距離が近くなるように、対象が異なる場合にはそれらの潜在変数間の距離が離れるようにエンコーダの学習を行うことを考える。このような学習で得られる潜在変数と同一モダリティでSiamese Networkを用いて対照学習を行なった場合で得られる潜在変数との比較をするなどして、潜在変数の性質を検討する。またこのような方法で生成された潜在変数が分類タスクやデータ生成タスクに対して有用であるかの実験、考察を行う。また潜在変数が伝達する情報についても引き続き解析を行う。さらに潜在変数空間でネットワークの性能を評価できるようにし、任意のタスクに対して性能の良い構造を有した人工ニューラルネットワークの探索を目的としたNetwork Architecture Search (NAS)に応用し、従来のNASよりも高速・高精度にネットワークの性能を評価できるシステムの開発を目指す。
|
