| 研究課題/領域番号 |
21K17821
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
長野 祥大 京都大学, 情報学研究科, 助教 (70898022)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2026-03-31
|
| キーワード | ニューラルネットワーク / 深層学習 / 機械学習 / 表現学習 / 生成モデル |
|---|
| 研究実績の概要 |
本研究は、外界の構造およびその構造の手がかりとなる教示情報を利用してデータの背後に潜む解釈性の高い内部表現を抽出する手法や、訓練済みモデルの内部表現と外界の構造の関係を明らかにすることを目指すものである。研究実施計画3年度である本年度は、データ構造が機械学習の推定に及ぼす影響に関わる研究の進展が見られた。
近年、画像と対応する言語キャプションの組からなる大規模データを用いた自己教師学習によって、様々な後続タスクに有用な画像・言語の深層ニューラルネットワーク（DNN）上の内部表現が抽出可能になった。中でも、内部表現を手がかり情報として拡散モデルの入力に利用した写実的な画像生成が注目を集めている。特に、この内部表現をヒトの脳活動パターンから予測することで、被験者の知覚像をリアルな見た目で再構成可能であることが複数のグループから報告されている。
我々は前述の脳活動からの知覚像再構成を批判的に再検討することで、報告で用いられたデータセットは内部表現の空間上でクラスター構造をなし、訓練データと評価データの類似性が非常に高いことを明らかにした。言い換えれば手法の汎化性能を十分に検証できていない可能性を示唆する。訓練データと評価データの意味的な類似性が低いデータセットで改めて検証した結果、拡散モデルベースの再構成手法には明らかな性能の悪化が見られた。以上の観察を踏まえ、特定の構造を持つ高次元データの回帰性能を定性的に議論するための人工モデルを提案し、訓練データの多様性が評価データの回帰結果に与える影響を明らかにした。数値実験の結果、自然画像データのDNN上での内部表現のように意味的な偏りが避けられない場合、十分な性能の担保のためには内部表現の次元数程度のオーダーの意味的なばらつき（クラスター数）が必要であるという示唆が得られた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本年度は、課題3で挙げた関係データを用いた深層表現学習手法を用いて獲得された内部表現に関する共同研究に進展が見られた。拡散モデルベースの再構成手法の批判的再検討と人工モデルを用いた数値検証は国際学会に採択されておりポスター発表を予定している。本研究では、自己教師学習で獲得された内部表現の実応用課題として注目を集める知覚像再構成において、内部表現の構造の偏りが再構成の性能に与える影響を実験的に明らかにした。また、このように高次元空間の回帰が失敗する状況をモデル化する人工モデルを提案し、データセットのどのような性質が汎化性能に影響を与えるかを数値的に検証した。一方で、この人工モデルを用いた検証は現時点では数値的な検証にとどまっており、得られた知見には依然モデルの設定やハイパーパラメーターへの依存が残る。次年度はこの問題の解決に取り組む予定である。
昨年度時点で計画していた対照学習に関する知見を元にした解釈性の高い内部表現を獲得する学習法の研究については、依然進行中であるが成果としては本年度中に報告できなかったため、次年度以降引き続き継続予定である。以上を踏まえると、表現学習によって獲得された内部表現を用いるような実応用課題に対する進捗は得られたものの、当初の計画である表現学習アルゴリズムの開発については計画と比較してわずかに遅れがあるといえる。
|
| 今後の研究の推進方策 |
構造を持つ高次元データセットの回帰のための人工モデルの挙動を定性的に説明するための理論解析に取り組む。回帰結果の汎化性能を説明する理論を構築できれば、人工モデルの細かな設定やハイパーパラメーターによらない一般的な議論と定性的な性能の予測が可能になることが期待される。具体的には、知覚像再構成の手法を適切に評価するためのデータセットや評価指標の設計に対する指針を与えうる。
また、課題3のデータセットの構造を反映した深層表現学習についても引き続き取り組む。当初の計画では類似するデータの組を教示として用いるような関係データの使用を想定していたが、データセットの構造に関する仮定をネットワーク構造に反映するアプローチなどを含め幅広い手法を検討する。
|
| 次年度使用額が生じた理由 |
計画当初は海外研究会参加を予定していたが、課題3の研究がいまだ進行中であり発表の段階に至らなかったため旅費を使用しなかった。次年度以降、計算機実験のためのクラウド計算機使用経費、あるいは海外研究会参加のための経費として使用予定である。
|
