学習におけるスパース表現とコネクション重みに関する研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06260207
• Research Institution: Ibaraki University
• Principal Investigator: 松山 泰男 茨城大学, 工学部, 教授 (60125804)
• Keywords: 教師あり学習 / コネクション重み / ペナルティ / ダイバージェンス / 教師なし学習 / ベクトル量子化 / 局所最適性 / 構造化

Research Abstract

本研究は,重みベクトルを用いたコーディングの性質と利点とは何かを探ることを目的としている.このとき,多層ネットワークのように連続値となる符号化を考察の対象としている.従って,この場合のコーディングとは何か,コネクション重みを考慮したときの相対的な集中・スパース・分散性とはどのようなものかといったことについて明確な理解と適用法とを得ることが重要な項目となっている.
上のような目的に従って得られた成果は次の通りである.
1.教師なし学習と教師あり学習のそれぞれについて,重みベクトルの配置を決める問題を,D=F+Σ_iλ_iG_iを最小化する多目的最適化問題として統一して扱えるようにした.
2.データ近似を行う競合学習については,対数バイアスとそれに基づく突然変異操作が,劣悪な局所最適を避けるよい手段であることを発見した.
3.重みベクトルをさらにグループ化してスーパーベクトルとみなすと,最適化特徴マップが得られ,これを外部知性の指定に基づいて変形すると,静止画像から動画像の生成ができることが分かった.
4.多層ネットワークの重み分布を集中・スパース・分散のそれぞれの形にするペナルティ項としてα-ダイバージェンスが適切であることを,論理値と時系列を入力する場合を例にとって実証した.

Research Products

• [Publications] Y.Matsuyama,et al.: "Penalized Learning as Multiple Object Optimization" Proc.Int.Conf.on Neural Networks. I. 187-192 (1994)
• [Publications] Y.Matsuyama and M.Tan: "Digital Movies Using Optimized Feature Maps" Proc.Int.Conf.on Neural Networks. VI. 4000-4005 (1994)
• [Publications] Y.Matsuyama,et al.: "Learning Optimization of Composite Cost" Proc.Int.Conf.on Neural Info.Processing. 3. 1431-1436 (1994)
• [Publications] Y.Matsuyama: "Learning Algorithms Associated with Penalties and Human Intelligence" Proc.Int.Conf.on Artificial Neural Networks. 1. 547-560 (1994)
• [Publications] 松山,笹井: "最適化特徴マップと強制情報を結合したディジタル動画像の生成" 記号とパターンの統合処理ワークショップ論文集. 1. 83-88 (1994)