• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Research-status Report

EMアルゴリズムによる混合モデルの初期値選択法の提案とその加速に関する研究

Research Project

Project/Area Number 16K00061
Research InstitutionOkayama University of Science

Principal Investigator

黒田 正博  岡山理科大学, 総合情報学部, 教授 (90279042)

Co-Investigator(Kenkyū-buntansha) 足立 浩平  大阪大学, 人間科学研究科, 教授 (60299055)
飯塚 誠也  岡山大学, 全学教育・学生支援機構, 教授 (60322236)
森 裕一  岡山理科大学, 総合情報学部, 教授 (80230085)
Project Period (FY) 2016-04-01 – 2020-03-31
Keywords初期値選択 / EMアルゴリズム / 収束の加速
Outline of Annual Research Achievements

本研究課題で対象にしているEMアルゴリズムや交互最小二乗法といった反復法は,局所収束することがわかっている.したがって,目的関数を最大化(交互最小二乗法の場合は最小化)するパラメータの推定問題において,初期値の選択が重要である.一般的には,複数個の初期値を用意し,これらから上記の反復法を用いてパラメータ推定をおこない,目的関数を最大化するものを見つける方法が取られる.しかし,これには試行回数と各試行での反復回数の掛け算となり,多大な反復回数とそのための計算時間が必要である.また,仮定する統計モデルの構造が複雑化し,それに伴いパラメータ数も増大するとき,この問題は深刻である.
この問題を解決するために,本年度の研究では,これまでに提案されたEMアルゴリズムにおけるパラメータの初期値選択法に我々の開発した加速法を組込むことで,反復回数の減少と,それに伴う計算時間の短縮を目指した手法を開発した.そして,数値実験により,その加速性能を評価し,提案手法の有効性を評価した.初期値選択をおこなった後は,これで得られた値をパラメータの初期値としてパラメータ推定をおこなうことになるが,この計算過程にも我々の加速法を用いることで,反復回数と計算時間の短縮を実現した.「初期選択」と「パラメータ推定」という2つの計算において,EMアルゴリズムの加速法を適用することで,全体として大幅な総反復回数と総計算時間の短縮を実現することができた.
さらに,初期値依存が解析における大きな問題となる非負行列分解にも,EMアルゴリズムの初期値選択法を応用し,数値実験による性能比較をおこない有効性を検証することができた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究の第一歩として,これまでに提案されているEMアルゴリズムの初期選択法についてサーベイをおこなった.そして,実際のデータ解析でよく使われているものをピックアップし,その手法における加速法の適用の可否を検討した.その中で,emEMアルゴリズムと呼ばれる標準的な初期値選択手法において,我々の提案した加速法が適用できることが確認できた.そこで,このアルゴリズムを拡張したEMアルゴリズムの初期値選択法を開発し,数値実験により性能評価をおこなった.この数値実験により,加速法を組込むことで反復回数と計算時間の短縮が図ることができ,研究の初期段階として十分な成果が得られたと考えている.

Strategy for Future Research Activity

EMアルゴリズムの初期値選択のための手法として,決定論的なアプローチによる手法が近年において提案されてきている.今後は,この新しい手法についてのアルゴリズムの検討をおこなうとともに,モデル平均(Model averaging)法による初期値選択法の研究とその加速化についても研究を深めていきたいと考えている.
初期値選択法については,統計モデルに依存して最良の手法は1つに限定できないことが一般的に言われており,複数個と初期選択手法をターゲットにし,様々な場面でそれに適した手法を提案できるよう,これらの改良するとともに,これらをベースに新しい初期値選択手法の開発をおこなっていきたいと考えている.

Causes of Carryover

海外での国際会議への出席を予定していたが,大学業務との調整がつかず海外出張を見送ることになった.そのために,配分された経費を執行することが出来なかった.

Expenditure Plan for Carryover Budget

12月にニュージーランドで開催されるIASC-ARS/NZSA への学会出張費に,2017年度配分される経費を使用することにしており,その不足分に充てることを考えている.また,国内の学会出張費にも使用する予定である.

  • Research Products

    (7 results)

All 2017 2016

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (4 results) (of which Int'l Joint Research: 3 results) Book (2 results)

  • [Journal Article] Fixed factor analysis with clustered factor score constraint2017

    • Author(s)
      Uno, K., Satomura, H. and Adachi, K.
    • Journal Title

      Computational Statistics and Data Analysis

      Volume: 94 Pages: 265-274

    • DOI

      j.csda.2015.08.010

    • Peer Reviewed
  • [Presentation] Acceleration of convergence of the alternating least squares algorithm for mixed measurement level multivariate data2016

    • Author(s)
      Kuroda, M., Mori, Y., Iizuka, M. and Sakakihara, M.
    • Organizer
      The 10th International Chinese Statistical Association (ICSA) international conference
    • Place of Presentation
      上海(中国)
    • Year and Date
      2016-12-19 – 2016-12-22
    • Int'l Joint Research
  • [Presentation] Acceleration of iterative methods for nonnegative matrix factorization2016

    • Author(s)
      Mori, Y., Sakakihara, M., Kuroda, M. and Iizuka, M.
    • Organizer
      COMPSTAT 2016
    • Place of Presentation
      オビエド(スペイン)
    • Year and Date
      2016-08-23 – 2016-08-26
    • Int'l Joint Research
  • [Presentation] Fast estimation using the EM algorithm for Gaussian mixture models2016

    • Author(s)
      Kuroda, M.
    • Organizer
      The 4th Institute of Mathematical Statistics Asia Pacific Rim Meeting
    • Place of Presentation
      香港(中国)
    • Year and Date
      2016-06-27 – 2016-06-30
    • Int'l Joint Research
  • [Presentation] リスタートを用いた加速化交互最小二乗法による非計量主成分分析の変数選択法につい て2016

    • Author(s)
      黒田正博, 森 裕一, 飯塚誠也
    • Organizer
      日本計算機統計学会第30回大会
    • Place of Presentation
      京都
    • Year and Date
      2016-05-19 – 2016-05-20
  • [Book] Nonlinear Principal Component Analysis and Its Applications2016

    • Author(s)
      Mori. Y., Kuroda, M., Makino, N.
    • Total Pages
      80
    • Publisher
      Springer
  • [Book] Matrix-Based Introduction to Multivariate Data Analysis2016

    • Author(s)
      Adachi,K.
    • Total Pages
      301
    • Publisher
      Springer

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi