ノイズを含むストリームデータ環境における省メモリかつ高速なオンライン学習

• Project/Area Number: 12J09511
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Intelligent informatics
• Research Institution: The University of Tokyo
• Principal Investigator: 大岩 秀和 東京大学, 情報理工学系研究科, 特別研究員(DC1)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥3,000,000 (Direct Cost: ¥3,000,000); Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2013: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2012: ¥1,000,000 (Direct Cost: ¥1,000,000)
• Keywords: 機械学習 / 言語処理 / 教師あり学習 / 人工知能 / 認知バイアス / オンライン学習 / スパース正則化 / ビッグデータ / 特徴選択 / 確率的最適化 / 効用関数 / 時系列データ / ストリームデータ / 状態空間モデル / 分類問題

Outline of Annual Research Achievements

1. 人間の授かり効果バイアスを考慮したストリームデータ処理アルゴリズムの改良
オンライン学習や確率的学習の枠組みでは、データを受け取る度に予測ルールが逐次的に更新される。この性質のため、過去に正答したデータが再度出現した際に、予測を誤る事がある。人間は授かり効果と呼ばれる認知バイアスを持つことが知られており、この時、効用を著しく損なうことが示唆される。
本研究では被験者実験による、授かり効果による効用損失の実証を始めに行った。次に、授かり効果に基づく損失関数を新たに数理モデル化し、これを導入した目的関数をオンライン学習および確率的学習の枠組みにおいてそれぞれ定式化した。さらに、両者の枠組みに対してこの目的関数値を動的に最適化するアルゴリズムを導出した。最後に、理論解析や実データを用いた実験により、授かり効果を伴う環境下での目的関数最大化問題において、提案アルゴリズムは未知データに対する予測精度を低下させること無く，授かり効果による損失を抑えられることを示した。本研究の貢献をまとめた論文は人工知能分野におけるtop-tier国際会議であるAAAI2014に採択され、口頭発表およびポスター発表を行った。

2. 機械学習理論解析における貢献と言語処理分野への応用
上記に加え、多様な性質を持つデータの混合からなる異種混合データより、効率的な分類・回帰・その他の教師あり学習を実現するための枠組みである、異種混合学習の領域における研究を行った。本研究の貢献は、機械学習分野におけるtop-tierの国際会議であるNIPSに採択され、その貢献が認められた。また、機械学習の主な応用先である自然言語処理分野に対しても、二項関係解析の面から研究を推し進めた。この貢献を論文としてまとめ、COLINGと呼ばれる言語処理分野の国際会議に論文として採択された。

Research Progress Status

26年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

26年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Partition-wise Linear Models (2014)
  • Author(s): Hidekazu Oiwa, Ryohei Fujimaki
  • Journal Title: Advances in Neural Information Processing Systems (NIPS 2014) Volume: 1 Pages: 3527-3535
  • Peer Reviewed / Open Access
• [Journal Article] Formalizing Word Sampling for Vocabulary Prediction as Graph-based Active Learning (2014)
  • Author(s): Yo Ehara, Yusuke Miyao, Hidekazu Oiwa, Issei Sato, Hiroshi Nakagawa
  • Journal Title: Conference on Empirical Methods in Natural Language Processing (EMNLP 2014) Volume: 1 Pages: 1374-1384
  • Peer Reviewed / Open Access
• [Journal Article] Robust Distributed Training of Linear Classifiers Based on Divergence Minimization Principle (2014)
  • Author(s): Junpei Komiyama, Hidekazu Oiwa, Hiroshi Nakagawa
  • Journal Title: European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML/PKDD 2014) Volume: 2 Pages: 1-17
  • Peer Reviewed
• [Journal Article] Common Space Embedding of Primal-Dual Relation Semantic Spaces (2014)
  • Author(s): Hidekazu Oiwa, Jun'ichi Tsujii
  • Journal Title: nternational Conference on Computational Linguistics (COLING-2014) Volume: 1 Pages: 1579-1590
  • Peer Reviewed / Open Access
• [Journal Article] Online and Stochastic Learning with a Human Cognitive Bias (2014)
  • Author(s): Hidekazu Oiwa, Hiroshi Nakagawa
  • Journal Title: AAAI Conference on Artificial Intelligence (AAAI-14) Volume: 1 Pages: 2020-2026
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Feature-aware Regularization for Sparse Online Learning (2014)
  • Author(s): Hidekazu Oiwa, Shin Matsushima, Hiroshi Nakagawa
  • Journal Title: Science China Informatioh Sciences Volume: 57 Issue: 5 Pages: 41-660
  • DOI: 10.1007/s11432-014-5082-z
  • Peer Reviewed
• [Journal Article] The Economic Impact of Herd Behavior in the Japanese Loan Market (2012)
  • Author(s): Ryuichi Nakagawa, Hidekazu Oiwa, Fumiko Takeda
  • Journal Title: Pacific-Basin Finance Journal Volume: 20(4) Issue: 4 Pages: 600-613
  • DOI: 10.1016/j.pacfin.2012.01.002
  • Peer Reviewed
• [Journal Article] Healing Truncation Bias : Self-weighted Truncation framework for Dual Averaging (2012)
  • Author(s): Hidekazu Oiwa, Shin Matsushima, Hiroshi Nakagawa
  • Journal Title: The proceedings of the IEEE 12 th International Conference on Data Mining Pages: 575-584
  • DOI: 10.1109/icdm.2012.33
  • Peer Reviewed
• [Journal Article] Mining words in the minds of second language learners : learner-specific word difficulty (2012)
  • Author(s): Yo Ehara, Issei Sato, Hidekazu Oiwa, Hiroshi Nakagawa
  • Journal Title: The proceedings of the 24th International Conferenee on Computational Linguistics Pages: 799-814
  • Peer Reviewed
• [Presentation] マルチタスク学習と誘因両立性 (2014)
  • Author(s): 大岩秀和、中川裕志
  • Organizer: 人工知能学会第28回全国大会 (JSAI2014)
  • Place of Presentation: 愛媛
  • Year and Date: 2014-05-12 – 2014-05-15
• [Presentation] 多腕バンディットにおけるリグレットの非線形拡張 (2014)
  • Author(s): 梁曽漢、小宮山純平、大岩秀和、佐藤一誠、中川裕志
  • Organizer: 人工知能学会第28回全国大会 (JSAI2014)
  • Place of Presentation: 愛媛
  • Year and Date: 2014-05-12 – 2014-05-15
• [Presentation] ダイバージェンス最小化原理を利用した線形分類器のロバスト分散学習 (2014)
  • Author(s): 小宮山純平、大岩秀和、中川裕志
  • Organizer: 人工知能学会第28回全国大会 (JSAI2014)
  • Place of Presentation: 愛媛
  • Year and Date: 2014-05-12 – 2014-05-15
• [Presentation] テキスト情報による関係の主-双対表現と共通空間射影法 (2014)
  • Author(s): 大岩秀和
  • Organizer: 言語処理学会第20回年次大会
  • Place of Presentation: 北海道(札幌)北大
  • Year and Date: 2014-03-20
• [Presentation] Novel Sparse Modeling by L2 + LO Regularization (2013)
  • Author(s): Hidekazu Oiwa
  • Organizer: DISCML2014
  • Place of Presentation: アメリカ、レイクタホ
  • Year and Date: 2013-12-09
• [Presentation] 授かり効果付きオンライン学習 (2013)
  • Author(s): 大岩秀和
  • Organizer: 人工知能学会(JSAI)第27回全国大会
  • Place of Presentation: 山口 山口教育会館
  • Year and Date: 2013-06-04
• [Presentation] Healing Truncation Bias : Self-weighted Truncation framework for Dual Averaging (2012)
  • Author(s): Hidekazu Oiwa
  • Organizer: IEEE 12th International Conference on Data Mining
  • Place of Presentation: Brussels, Belgium(招待講演)
  • Year and Date: 2012-12-12
• [Presentation] Frequency-aware Truncated methods for Sparse Online Learning (2012)
  • Author(s): Hidekazu Oiwa
  • Organizer: Machine Learning Summer School 2012
  • Place of Presentation: Kyoto, Japan(招待講演)
  • Year and Date: 2012-09-03
• [Remarks]
  • URL: http://www.r.dl.itc.u-tokyo.ac.jp/~oiwa/
• [Remarks]
  • URL: http://www.r.dl.itc.u-tokyo.ac.jp/~oiwa/