• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

深層学習における内部状態の統計的手法による表現と新しい学習手法の構築

研究課題

研究課題/領域番号 18K11449
研究機関東京工科大学

研究代表者

柴田 千尋  東京工科大学, コンピュータサイエンス学部, 講師 (00633299)

研究分担者 持橋 大地  統計数理研究所, 数理・推論研究系, 准教授 (80418508)
吉仲 亮  東北大学, 情報科学研究科, 准教授 (80466424)
研究期間 (年度) 2018-04-01 – 2021-03-31
キーワード表現学習 / 情報ボトルネック法 / 分布エンコーディング
研究実績の概要

本研究では,教師あり,教師なしを問わず, 深層ニューラルネットの内部において,より解釈性が高く,かつ質の高い埋め込み表現を得るための試みを行っている.特に本年度は,文書分類を行う深層ニューラルネットに対し,超球面上への分布エンコーディング,および情報ボトルネック法を用い,内部状態の可読性が向上するかどうか,および,識別率が上昇するかどうかを検証した.その具体的な手法として,まず,隠れベクトルがクラス情報だけを保持するように,クラスごとにアンカーとなるような分布の中心ベクトルを用いる.一般に,深層ニューラルネットを用いた文書分類では,出力層に近い層において,各ラベルごとに,埋め込みベクトルのクラスタが存在することが知られている.本研究で用いる,分布の埋め込み表現と情報ボトルネックの目的は,ラベルベクトル(以降アンカーとよぶ)を文書の埋め込み表現とを陽に類似させるようにするという点,もう一つは,情報ボトルネック法つまり,内部ベクトル相互情報量を最大化することにより, よりよい表現を得ることができる点である.とくに,分布埋め込み表現を超球面上に限定することにより,埋め込み表現の自由度を制限することにより,高精度化と可解釈性の向上を図る手法を提案した.実験の結果,分布エンコーディングを行わず,代わりにドロップアウト法を用いるなどしたベースラインの手法と比較して,より識別性が高く,かつ,t-sneなどで2次元にマップした際にもより解釈性の高い内部表現が学習の結果得られることを示した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究の目的は,学習の結果,情報が深層ニューラルネット内にどのように表現されているかを探求するものである.本年度は,文書分類という比較的容易なタスクに限定しているものの,実際にどのように表現されているかを可視化することが可能であった点,および分布エンコーディングや情報ボトルネック法によって,表現がどのように変化するかを明らかにした点,また,超球面上の分布にエンコーディングする手法を新たに提案し,それにより分類精度の高精度化および,可解釈性の向上が可能となった点において,一定程度の進展を得ることができたと考えられる.

今後の研究の推進方策

今後は,文書分類に限らず,言語モデルなどの教師なし学習においても,分布エンコーディングや情報ボトルネック法の適用により,モデルの高精度化や,可解釈性の向上を可能とすることができるかを検討していく予定である.

次年度使用額が生じた理由

計算機などの物品費が,本年度はすでに存在した古い計算機を使用したことにより,予定よりもかからなかったこと,および,3月に予定していた学会や国際会議が社会的に止む終えない要因により,軒並み延期,中止されたため,参加費や旅費が予定よりもかからなかったこと,が理由として挙げられる. 使用計画としては,メモリが十分に乗った計算機またはGPUの購入,学習用の言語資源データの購入,および,学会の参加費などを予定している.

  • 研究成果

    (3件)

すべて 2020 2019

すべて 雑誌論文 (3件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 2件)

  • [雑誌論文] 文字レベル畳み込みニューラルネットに対するトピック分布を用いた事前学習2020

    • 著者名/発表者名
      守屋俊, 柴田千尋
    • 雑誌名

      電子情報通信学会論文誌

      巻: J103-D(4) ページ: 280-290

    • DOI

      10.14923/transinfj.2019PDP0004

    • 査読あり
  • [雑誌論文] 超球面上への分布エンコーディングを用いた文書分類2020

    • 著者名/発表者名
      守屋俊, 町田秀輔, 柴田千尋
    • 雑誌名

      言語処理学会第26回年次大会予稿集

      巻: None ページ: 1435-1438

    • オープンアクセス
  • [雑誌論文] Maximum Likelihood Estimation of Factored Regular Deterministic Stochastic Languages2019

    • 著者名/発表者名
      Chihiro Shibata and Jeffrey Heinz
    • 雑誌名

      In Proceedings of the 16th Meeting on the Mathematics of Language

      巻: None ページ: 102-113

    • 査読あり / オープンアクセス / 国際共著

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi