• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実施状況報告書

ブロックデザインのディープラーニングへの応用とその構成

研究課題

研究課題/領域番号 19K11866
研究機関東京理科大学

研究代表者

宮本 暢子  東京理科大学, 理工学部情報科学科, 教授 (20318207)

研究分担者 三嶋 美和子  岐阜大学, 工学部, 教授 (00283284)
地嵜 頌子  東京理科大学, 理工学部情報科学科, 助教 (90778250)
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワードドロップアウトデザイン / ディープラーニング / ドロップアウト
研究実績の概要

ディープラーニングにおいて過学習を避けるための手法の一つとしてドロップアウトがある。これは学習の度にランダムに非活性化させるノードを選び、毎回異なる重み付けをすることで汎化性能を高める手法である。本研究ではドロップアウト法に統計的実験計画法で用いられるブロックデザインを活用するため、ドロップアウトデザインと呼ばれる新しいデザインを定義した。ドロップアウトデザインは、2因子実験における統計モデルとしての最適性を保持するsplit block design と呼ばれるブロックデザインを拡張したものであり、各層の各ノードが等頻度で学習に組み込まれるだけでなく、各層のノード間を結ぶ辺の出現頻度を均一にするような特性を持つデザインである。研究目的として(1)ドロップアウトデザインの構成手法の提案, (2)ドロップアウトデザインの有効性の検証がある。
(1)について、有限アフィン幾何および射影幾何の結合構造を利用したドロップアウトデザインの構成法を提案した( Combinatorial designs for deeplearning: https://doi.org/10.1002/jcd.21720)。また学習に用いる際に、層の数を柔軟に対応できるようドロップアウトデザインの性質を整理し、その条件を満たすドロップアウトデザインの構成も行った。
(2)について、データセットはCIFAR-10と, 一様分布からランダムサンプリングしたデータに対して作成した,10クラス分類用データセットの2種類を準備し、ネットワークとして多層パーセプトロンと畳み込みニューラルネットワークの2種類を用い、dropout designを用いた学習, ランダムなdropout法を用いた学習, dropout法を使わない学習の3つに対する実験を行っている途中である。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

ドロップアウトデザインの構成手法の提案については、これまで順調に進んでいるといえる。一方、ドロップアウトデザインの有用性の検証は、実験のための準備に時間がかかること、またどのように学習にデザインを適応するのか、評価はどのようにするのかについて不確定な要素が多い。現在実験結果については, 訓練データに対する損失, テストデータに対する損失, 訓練精度, テスト精度を収集しているが、 10回の繰り返し実験を行なっているため一つの計算機実験に要する時間も長くかかっており計画としてはやや遅れている状況となっている。

今後の研究の推進方策

ドロップアウトデザインの構成手法を様々なパラメータで提案し、各ドロップアウトデザインを用いた学習を行う実験のデータを比較検証することで、どのようなパラメータを持つドロップアウトデザインが有効なのか、どのようなタイプの学習に有効なのかといった観点から研究をすすめていきたいと考える。

次年度使用額が生じた理由

研究分担者が2021年度に異動することが決まり、2021年度は打ち合わせのための旅費が予算より必要となることがわかったため、2020年度から2021年度への繰越を行った。

  • 研究成果

    (5件)

すべて 2020 2019

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (3件)

  • [雑誌論文] Combinatorial designs for deep learning2020

    • 著者名/発表者名
      Shoko Chisaki, Ryoh Fuji-Hara and Nobuko Miyamoto
    • 雑誌名

      JOURNAL OF COMBINATORIAL DESIGNS28

      巻: 28 ページ: 633-657

    • DOI

      10.1002/jcd.21720

    • 査読あり
  • [雑誌論文] Partitions of the lines in PG(2n-1,s) into multifold spreads for s=3, 42020

    • 著者名/発表者名
      M. Mishima, N. Miyamoto and M. Jimbo
    • 雑誌名

      Discrete Mathematics

      巻: 343 ページ: -

    • DOI

      10.1016/j.disc.2020.111867

    • 査読あり
  • [学会発表] ニューラルネットにおけるDropConnectの均斉化2019

    • 著者名/発表者名
      S. Chisaki
    • 学会等名
      The Japanese Conference on Combinatorics and its Applications
  • [学会発表] 深層学習用組合せデザインを用いたドロップアウト法の性能評価報告2019

    • 著者名/発表者名
      熊澤 努, 地嵜頌子, 室井浩明, 渡邉卓也
    • 学会等名
      研究集会「実験計画法と符号および関連する組合せ構造」
  • [学会発表] DropConnect法への組合せデザインの応用2019

    • 著者名/発表者名
      地嵜 頌子、松原 和樹
    • 学会等名
      研究集会「実験計画法と符号および関連する組合せ構造」

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi