| 研究課題/領域番号 |
21K17821
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 京都大学 (2022)
東京大学 (2021) |
|---|
研究代表者 |
長野 祥大 京都大学, 情報学研究科, 助教 (70898022)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2024年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2023年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2022年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | ニューラルネットワーク / 深層学習 / 機械学習 / 表現学習 / 生成モデル |
|---|
| 研究開始時の研究の概要 |
深層学習は高次元・非線形なデータを用いた複雑な課題の学習を可能にした一方で，その内部表現の解釈性は低い．本研究では，深層学習によって高次元の観測のみから背後の操作変数を抽出する，つまり操作性・解釈性が高いデータの背後の物理法則を抽出する表現学習の研究を行う．特に，どのような外界の構造(教示)によって操作変数の抽出が可能か？をモデル提案，問題設定の解析の両面から検討する．本研究では表現学習が依拠する帰納バイアスを明示化し，問題のドメインに依存しない普遍的な表現学習手法の開発を目指す．
|
| 研究実績の概要 |
本研究は、外界の構造やそこから得られる教示情報を利用してデータの背後に潜む解釈性の高い内部表現を抽出する手法や観察された内部表現にどのような外界の構造が現れているかを分析する手法の開発を目指すものである。研究実施計画2年度である本年度は、課題3で挙げた関係データを用いた深層表現学習に関する研究及びその知見に着想を得た共同研究の進展が見られた。具体的には、データ間の類似情報に基づいた教示を用いた表現学習手法である対照学習の下流タスクにおける性能の理論解析を行った。対照学習は意味上似ている正例が近く、似ていない負例が遠くなるようなデータ表現を学習する枠組みである。既存理論では負例数に関する定性的な挙動に実験事実との乖離が見られていたが、本研究では対照損失による分類損失の理論上界・下界を大幅に改善することで負例数の増加に伴う実験的な分類性能の向上の説明に成功した。また、このような対照学習の枠組みは典型的な機械学習の枠組みである教師あり学習に比べて弱い教示情報のみを用いることから、生物の学習方法の候補としても有望な模型の一つであると言える。本年度は、共同研究として対照学習を用いて画像データで訓練したニューラルネットワークの内部表現が、他の学習手法や生物の視覚システムと比較してどのような相違点があるかについての数値的評価を行った。特に、事前訓練の際に得られていないラベルに対応する画像データの内部表現について、幾何的な性質や内部表現を元にしたラベルの識別性能が一般的な教示情報で訓練したネットワークと定性的に類似していることを明らかにした。
これらのデータ間の類似情報に基づいた教示を利用した表現学習手法はデータの背後の構造を抽出する上で有用であると考えられるため、今後は解釈性の高い特定の内部表現の構造に焦点を当てた学習方法の開発をすすめる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は、課題3で挙げた関係データを用いた深層表現学習に関する研究及びその知見に着想を得た共同研究の進展が見られた。対照学習の理論解析は国内学会で行った口頭発表において優秀プレゼンテーション賞に選ばれた。また、共同研究についても同様に学会発表を行い、現在は成果をまとめた論文の投稿準備中である。今後は、これまで得られた対照学習に関する知見を元にして内部表現のdisentanglementに代表されるような解釈性の高い内部表現をいかにして獲得するかについての研究をすすめる計画である。以上の理由から本研究課題はおおむね順調に進展しているといえる。
|
| 今後の研究の推進方策 |
これまで得られた対照学習に関する知見を元にして解釈性の高い内部表現をいかにして獲得するかについての研究をすすめる計画である。特に、与える教示情報の性質とそれを元にモデルを訓練したときに得られる内部表現の関係性について研究を行う。具体的には類似/非類似の教示情報からdisentanglementに代表されるような後続タスクにとって有用かつ特定の構造を持つ内部表現が抽出可能かについて研究を行う。また、すでに訓練済みのモデルの内部表現がどの程度有用な構造を持つか、あるいはモデルの訓練後に少量の追加データを用いて有用な構造を獲得できるような事後的な調整は可能かについても検討を行う。
|
