学習理論からの計算限界解明へのアプローチ

2015 年度 実績報告書

• 研究領域: 多面的アプローチの統合による計算限界の解明
• 研究課題/領域番号: 24106010
• 研究機関: 九州大学
• 研究代表者: 瀧本 英二 九州大学, システム情報科学研究科(研究院, 教授 (50236395)
• 研究分担者: 篠原 歩 東北大学, 情報科学研究科, 教授 (00226151) ; 正代 隆義 九州国際大学, 国際関係学部, 教授 (50226304) ; 畑埜 晃平 九州大学, 附属図書館, 准教授 (60404026) ; 吉仲 亮 京都大学, 情報学研究科, 助教 (80466424) ; 内沢 啓 山形大学, 理工学研究科, 准教授 (90510248)
• 研究期間 (年度): 2012-06-28 – 2017-03-31
• キーワード: 計算学習理論 / オンライン予測 / 項木パターン / 分布学習 / QBFソルバ / Bradley-Terryモデル

研究実績の概要

１．仮説表現の複雑さに関する成果
(1) セルオートマトンのように，無向グラフの各頂点が何らかの状態を保持し，与えられた局所関数に従って同期的に状態遷移を繰り返すシステムは，交通流など現実の様々な動的システムを表現するモデルとして有用である．本研究では，与えられたモデルが全体としてどのように振舞うかを決定するいくつかの問題が，NPとPの中間の計算量クラスに属することを示唆する結果を得た．(2) XML文書やRNAの二次構造のような木構造を表現する能力がある項木パターンに対し，その照合問題が多項式時間で解ける条件を明らかにした．
２．学習の複雑さ指標の解析に関する成果
(1) 分布学習の概念は，文脈自由文法などの広い文法クラスに対する新しい学習方式として注目されているが，これまでは，各文法形式について個別に定義され，その能力が解析されてきた．本研究では，これらの先行研究を一般化し，分布学習方式の設計と解析に関する統一的な枠組みを与えた．
３．アルゴリズムの設計と解析手法の体系化
(1) PSPACE完全問題の１つである一般化三並べの勝敗判定問題に対して，これを述語論理式の充足可能性判定問題に還元し，QBFソルバを用いて解くという実用的な計算法を提案し，その性能を実験的に評価した．その結果，本手法の有用性が明らかとなった．(2) 組合せ集合を決定空間とするオンライン予測の問題に対し，その集合上の線形最適化問題がNP困難であっても，高効率・高性能な予測アルゴリズムを持つための新しい十分条件を与えた．これは，従来の「射影が容易な緩和空間を持つこと」という条件を，階層的な緩和空間に対する条件に緩めたものである．(3) ランキングの推定などに幅広い応用を持つ Bradley-Terry モデルと呼ばれる確率モデルのオンライン最尤推定問題に対し，仮想試行に基づく新しい正則化項を導入することにより，より良い性能限界を持つ新手法を与えた．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

それぞれの研究テーマにおいて，着実に研究成果を出している．特に本年度は，学習理論に関する最高峰・最難関の国際会議であるConference on Learning Theory (COLT) で，2つの研究成果を発表することができた．また，NPとPの中間の計算量クラスに属すると予想される問題は，これまでグラフ同型性判定問題などごく少数しか知られていなかったが，研究実績の概要１-(1)で示したように，本研究により新しいタイプの問題を加えることができた．これは，P≠NPの解明に向けての有用な足掛かりになるだけでなく，公開鍵暗号やゼロ知識証明系などのプロトコル設計のための新しい材料を与えた可能性を示唆しており，本研究成果のセキュリティ分野への波及効果も大きい．さらに，研究実績の概要3-(2)で述べたオンライン予測アルゴリズム設計のための新しい条件を適用することにより，順序制約つきのオンラインジョブスケジューリング問題が高効率・高性能な予測アルゴリズムを持つことを初めて示すことに成功している．これは，新しい条件の有用性を示す結果である．また，この結果から，通常の（オフラインの）順序制約付きジョブスケジューリング問題に対する2近似アルゴリズムを構成することができるが，これは今まで知られていなかった全く新しいタイプのアルゴリズムであり，近似アルゴリズムの分野に対する技術的な貢献も大きい．

今後の研究の推進方策

引き続き，各研究テーマに対して，他分野への波及効果も意識して，できるだけ多角的な視点から研究を推進する．そのために，本年度も，B01班などの他の研究グループとの連携を強化するとともに，本研究領域恒例の秋学校を我々が中心となって企画・開催し，機械学習の最新の理論を解説するとともに，今後の展開を模索する．また，本研究課題の基礎を支えている，最適化の分野の世界的権威である，Elad Hazan氏を招聘して，共同研究を行うための準備をすすめている．

研究成果

• [国際共同研究] University of California, Santa Cruz/University of California, Berkeley/MIT(米国)
  • 国名: 米国
  • 外国機関名: University of California, Santa Cruz/University of California, Berkeley/MIT
  • 他の機関数: 4
• [国際共同研究] Queensland University of Technology(オーストラリア)
  • 国名: オーストラリア
  • 外国機関名: Queensland University of Technology
• [国際共同研究] 天津科技大学(中国)
  • 国名: 中国
  • 外国機関名: 天津科技大学
• [国際共同研究] Grameen Communications(バングラデシュ)
  • 国名: バングラデシュ
  • 外国機関名: Grameen Communications
• [国際共同研究] Universite de Lorraine/Univ. Paris-Dauphine/INRIA(フランス)
  • 国名: フランス
  • 外国機関名: Universite de Lorraine/Univ. Paris-Dauphine/INRIA
  • 他の機関数: 1
• [雑誌論文] Generalization of Efficient Implementation of Compression by Substring Enumeration (2016)
  • 著者名/発表者名: Shumpei Sakuma, Kazuyuki Narisawa, Ayumi Shinohara
  • 雑誌名: Proc. the Data Compression Conference (DCC 2016) 巻: - ページ: 630-630
  • DOI: 10.1109/DCC.2016.86
  • 査読あり
• [雑誌論文] Drawing Strategies for Generalized Tic-Tac-Toe (P, Q) (2016)
  • 著者名/発表者名: Diptarama, Kazuyuki Narisawa, Ayumi Shinohara
  • 雑誌名: Proc. the International Conference on Progress in Applied Mathematics in Sciences and Engineering (PIAMSE2015), AIP Conference Proceedings 巻: 1705 ページ: 020021
  • DOI: 10.1063/1.4940269
  • 査読あり / 謝辞記載あり
• [雑誌論文] Threshold Circuits Detecting Global Patterns in Two-dimensional Maps (2016)
  • 著者名/発表者名: Kei Uchizawa, Daiki Yashima, Xiao Zhou
  • 雑誌名: Journal of Graph Algorithms and Applications 巻: 20 ページ: 115-131
  • DOI: 10.7155/jgaa.00387
  • 査読あり / オープンアクセス
• [雑誌論文] A Smoothed Dual Approach for Variational Wasserstein Problems (2016)
  • 著者名/発表者名: Marco Cuturi, Gabriel Peyre
  • 雑誌名: SIAM Journal on Imaging Sciences 巻: 9 (1) ページ: 320-343
  • DOI: 10.1137/15M1032600
  • 査読あり / 国際共著
• [雑誌論文] Online Linear Optimization for Job Scheduling under Precedence Constraints (2015)
  • 著者名/発表者名: Takahiro Fujita, Kohei Hatano, Shuji Kijima, Eiji Takimoto
  • 雑誌名: Proc. 26th International Conference on Algorithmic Learning Theory (ALT 2015), Lecture Notes in Computer Science 巻: 9355 ページ: 332-346
  • DOI: 10.1007/978-3-319-24486-0_22
  • 査読あり / 謝辞記載あり
• [雑誌論文] Minimax Fixed-Design Linear Regression (2015)
  • 著者名/発表者名: Peter Bartlett, Wouter Koolen, Alan Malek, Eiji Takimoto, Manfred Warmuth
  • 雑誌名: Proc. 28th Conference on Learning Theory (COLT 2015), JMLR: Workshop and Conference Proceedings 巻: 40 ページ: 226-239
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Online Density Estimation of Bradley-Terry Models (2015)
  • 著者名/発表者名: Issei Matsumoto, Kohei Hatano, Eiji Takimoto
  • 雑誌名: Proc. 28th Conference on Learning Theory (COLT 2015), JMLR: Workshop and Conference Proceedings 巻: 40 ページ: 1343-1359
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] An Efficient Pattern Matching Algorithm for Ordered Term Tree Patterns (2015)
  • 著者名/発表者名: Yusuke Suzuki, Takayoshi Shoudai, Tomoyuki Uchida, Tetsuhiro Miyahara
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E98-A(6) ページ: 1197-1211
  • DOI: 10.1587/transfun.E98.A.1197
  • 査読あり / 謝辞記載あり
• [雑誌論文] Swapping labeled tokens on graphs (2015)
  • 著者名/発表者名: Katsuhisa Yamanaka, Erik Demaine, Takehiro Ito, Jun Kawahara, Masashi Kiyomi, Yoshio Okamoto, Toshiki Saitoh, Akira Suzuki, Kei Uchizawa, Takeaki Uno
  • 雑誌名: Theoretical Computer Science 巻: 586 ページ: 81-94
  • DOI: 10.1016/j.tcs.2015.01.052
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Competitive Diffusion on Weighted Graphs (2015)
  • 著者名/発表者名: Takehiro Ito, Yota Otachi, Toshiki Saitoh, Hisayuki Satoh, Akira Suzuki, Kei Uchizawa, Ryuhei Uehara, Katsuhisa Yamanaka, Xiao Zhou
  • 雑誌名: Proc. 14th International Symposium on Algorithms and Data Structures (WADS 2015), Lecture Notes in Computer Science 巻: 9214 ページ: 422-433
  • DOI: 10.1007/978-3-319-21840-3_35
  • 査読あり / 謝辞記載あり
• [雑誌論文] Computational Complexity Studies of Synchronous Boolean Finite Dynamical Systems (2015)
  • 著者名/発表者名: Mitsunori Ogihara, Kei Uchizawa
  • 雑誌名: Proc. 12th Annual Conference on Theory and Applications of Models of Computation (TAMC 2015), Lecture Notes in Computer Science 巻: 9076 ページ: 87-98
  • DOI: 10.1007/978-3-319-17142-5_9
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] BDD construction for all solutions SAT and efficient caching mechanism (2015)
  • 著者名/発表者名: Takahisa Toda, Koji Tsuda
  • 雑誌名: Proc. 30th Annual ACM Symposium on Applied Computing (SAC 2015) 巻: - ページ: 1880-1886
  • DOI: 10.1145/2695664.2695941
  • 査読あり / 謝辞記載あり
• [雑誌論文] Privacy-Preserving Statistical Analysis by Exact Logistic Regression (2015)
  • 著者名/発表者名: David duVerle, Shohei Kawasaki, Yoshiji Yamada, Jun Sakuma, Koji Tsuda
  • 雑誌名: Proc. 2015 IEEE Symposium on Security and Privacy Workshops (SPW 2015) 巻: - ページ: 7-16
  • DOI: 10.1109/SPW.2015.14
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] Predictive Approaches for Low-Cost Preventive Medicine Program in Developing Countries (2015)
  • 著者名/発表者名: Yukino Baba, Hisashi Kashima, Yasunobu Nohara, Eiko Kai, Partha Pratim Ghosh, Rafiqul Islam Maruf, Ashir Ahmed, Masahiro Kuroda, Sozo Inoue, Tatsuo Hiramatsu, Michio Kimura, Shuji Shimizu, Kunihisa Kobayashi, Koji Tsuda, Masashi Sugiyama, Mathieu Blondel, Naonori Ueda, Masaru Kitsuregawa, Naoki Nakashima
  • 雑誌名: Proc. 21st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD2015) 巻: - ページ: 1681-1690
  • DOI: 10.1145/2783258.2788587
  • 査読あり / 国際共著 / 謝辞記載あり
• [雑誌論文] ナノ電子顕微分光における情報処理技法の応用 (2015)
  • 著者名/発表者名: 武藤俊介, 志賀元紀, 巽一厳, 津田宏治
  • 雑誌名: セラミックス 巻: 50 (7) ページ: 527-530
  • 査読あり
• [雑誌論文] Prediction of Low-Thermal-Conductivity Compounds with First-Principles Anharmonic Lattice-Dynamics Calculations and Bayesian Optimization (2015)
  • 著者名/発表者名: Atsuto Seko, Atsushi Togo, Hiroyuki Hayashi, Koji Tsuda, Laurent Chaput, Isao Tanaka
  • 雑誌名: Physical Review Letters 巻: 115 ページ: 205901
  • DOI: 10.1103/PhysRevLett.115.205901
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Privacy-preserving search for chemical compound databases (2015)
  • 著者名/発表者名: Kana Shimizu, Koji Nuida, Hiromi Arai, Shigeo Mitsunari, Nuttapong Attrapadung, Michiaki Hamada, Koji Tsuda, Takatsugu Hirokawa, Jun Sakuma, Goichiro Hanaoka, Kiyoshi Asai
  • 雑誌名: BMC Bioinformatics 巻: 16(Suppl 18):S6 ページ: 1-14
  • DOI: 10.1186/1471-2105-16-S18-S6
  • 査読あり / オープンアクセス
• [雑誌論文] Principal Geodesic Analysis for Probability Measures under the Optimal Transport Metric (2015)
  • 著者名/発表者名: Vivien Seguy, Marco Cuturi
  • 雑誌名: Proc. 29th Annual Conference on Neural Information Processing Systems (NIPS2015) 巻: - ページ: 3294-3302
  • 査読あり / オープンアクセス
• [雑誌論文] Convolutional Wasserstein Distances: Efficient Optimal Transportation on Geometric Domains (2015)
  • 著者名/発表者名: Justin Solomon, Fernando de Goes, Gabriel Peyre, Marco Cuturi, Adrian Butscher, Andy Nguyen, Tao Du, Leonidas J. Guibas
  • 雑誌名: Proc. 42nd International Conference and Exhibition on Computer Graphics and Interactive Techniques (SIGGRAPH2015), ACM Transactions on Graphics 巻: 34 (4) ページ: 66:1-66:11
  • DOI: 10.1145/2766963
  • 査読あり / 国際共著
• [雑誌論文] Iterative Bregman Projections for Regularized Transportation Problems (2015)
  • 著者名/発表者名: Jean-David Benamou, Guillaume Carlier, Marco Cuturi, Luca Nenna, Gabriel Peyre
  • 雑誌名: SIAM Journal on Scientific Computing 巻: 37 (2) ページ: A1111-A1138
  • DOI: 10.1137/141000439
  • 査読あり / 国際共著
• [雑誌論文] Fast Optimal Transport Averaging of Neuroimaging Data (2015)
  • 著者名/発表者名: Alexandre Gramfort, Gabriel Peyre, Marco Cuturi
  • 雑誌名: Proc. 24th International Conference on Information Processing in Medical Imaging (IPMI 2015), Lecture Notes in Computer Science 巻: 9123 ページ: 261-272
  • DOI: 10.1007/978-3-319-19992-4_20
  • 査読あり / 国際共著
• [雑誌論文] Unsupervised Riemannian Metric Learning for Histograms Using Aitchison Transformations (2015)
  • 著者名/発表者名: Tam Le, Marco Cuturi
  • 雑誌名: Proc. 32nd International Conference on Machine Learning (ICML 2015), JMLR: Workshop and Conference Proceedings 巻: 37 ページ: 2002-2011
  • 査読あり / オープンアクセス
• [雑誌論文] An Online Policy Gradient Algorithm for Continuous State and Action Markov Decision Processes (2015)
  • 著者名/発表者名: Yao Ma, Tingting Zhao, Kohei Hatano, Masashi Sugiyama
  • 雑誌名: Neural Computation 巻: 28 ページ: 563-593
  • DOI: 10.1162/NECO_a_00808
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] Distributional Learning and Context/Substructure Enumerability in Non-linear Tree Grammars (2015)
  • 著者名/発表者名: Makoto Kanazawa, Ryo Yoshinaka
  • 雑誌名: Proc. 20th Conference on Formal Grammar 巻: - ページ: 89-106
  • 査読あり / 謝辞記載あり
• [雑誌論文] General Perspective on Distributionally Learnable Classes (2015)
  • 著者名/発表者名: Ryo Yoshinaka
  • 雑誌名: Proc. 14th Meeting on the Mathematics of Language (MoL 2015) 巻: - ページ: 87-98
  • 査読あり / 謝辞記載あり
• [学会発表] 相対評価に基づく協調ランキング問題 (2016)
  • 著者名/発表者名: 森富賢一郎, 畑埜晃平, 瀧本英二
  • 学会等名: 電子情報通信学会IBISML 研究会
  • 発表場所: 統計数理研究所(東京都・立川市）
  • 年月日: 2016-03-17
• [学会発表] 順序同型な部分系列を用いた数値列に対する最長共通部分列問題 (2016)
  • 著者名/発表者名: 栗原理聡, 成澤和志, 篠原歩
  • 学会等名: 電子情報通信学会コンピュテーション研究会
  • 発表場所: 九州産業大学（福岡県・福岡市）
  • 年月日: 2016-03-14
• [学会発表] A Semi-Supervised Data Screening for Network Traffic Data using Graph Min-Cuts (2016)
  • 著者名/発表者名: Takayoshi Shoudai, Hikaru Murai, Atsushi Okamoto
  • 学会等名: 情報処理学会数理モデル化と問題解決研究会
  • 発表場所: 山口県健康づくりセンター（山口県・山口市）
  • 年月日: 2016-03-08
• [学会発表] Regularized Optimal Transport and Applications (2016)
  • 著者名/発表者名: Marco Cuturi
  • 学会等名: Microsoft Research Cambridge, public talks
  • 発表場所: ケンブリッジ（イギリス）
  • 年月日: 2016-02-19
  • 招待講演
• [学会発表] 累積的でない損失関数に対するオンライン予測 (2016)
  • 著者名/発表者名: 森和香菜, 畑埜晃平, 瀧本英二
  • 学会等名: 冬のLAシンポジウム
  • 発表場所: 京都大学（京都府・京都市）
  • 年月日: 2016-01-26
• [学会発表] Synchronous Boolean Finite Dynamical Systems and Minimum Circuit Size Problem (2016)
  • 著者名/発表者名: Mitsunori Ogihara, Kei Uchizawa
  • 学会等名: 情報処理学会アルゴリズム研究会
  • 発表場所: 湯の原ホテル（宮城県・仙台市）
  • 年月日: 2016-01-22
• [学会発表] トークン整列問題の計算複雑に関する一考察 (2016)
  • 著者名/発表者名: 川原純, 斎藤寿樹, 吉仲亮
  • 学会等名: 情報処理学会アルゴリズム研究会
  • 発表場所: 湯の原ホテル（宮城県・仙台市）
  • 年月日: 2016-01-21
• [学会発表] Regularized Wasserstein Distances and Applications (2015)
  • 著者名/発表者名: Marco Cuturi
  • 学会等名: Machine Learning Tea seminar
  • 発表場所: MIT（アメリカ）
  • 年月日: 2015-12-04
  • 招待講演
• [学会発表] 相対評価に基づく協調ランキング問題 (2015)
  • 著者名/発表者名: 森富賢一郎, 畑埜晃平, 瀧本英二
  • 学会等名: 第18回情報論的学習理論ワークショップ (IBIS 2015)
  • 発表場所: つくば国際会議場（茨城県・つくば市）
  • 年月日: 2015-11-26
• [学会発表] 特徴と標本の同時セーフスクリーニン グ (2015)
  • 著者名/発表者名: 柴垣篤志, 小川晃平, 畑埜晃平, 竹内一郎
  • 学会等名: 第18回情報論的学習理論ワークショップ (IBIS 2015)
  • 発表場所: つくば国際会議場（茨城県・つくば市）
  • 年月日: 2015-11-26
• [学会発表] QBFソルバを用いた一般化三並べの拡張の勝敗判定 (2015)
  • 著者名/発表者名: ディプタラマ, 石黒裕也, 成澤和志, 篠原歩, ジョーダンチャールズ
  • 学会等名: 第20 回ゲームプログラミングワークショップ2015 (GPW-15)
  • 発表場所: 軽井沢学習研修所（長野県・軽井沢町）
  • 年月日: 2015-11-08
• [学会発表] トーラス盤面における一般化三並べの解析 (2015)
  • 著者名/発表者名: 石黒裕也, ディプタラマ, 成澤和志, 篠原歩
  • 学会等名: 第20 回ゲームプログラミングワークショップ2015 (GPW-15)
  • 発表場所: 軽井沢学習研修所（長野県・軽井沢町）
  • 年月日: 2015-11-08
• [学会発表] Computational Complexity of Competitive Diffusion on (Un)weighted Graphs (2015)
  • 著者名/発表者名: Ito Takehiro, Otachi Yota, Saitoh Toshiki, Satoh Hisayuki, Suzuki Akira, Uchizawa Kei, Uehara Ryuhei, Yamanaka Katsuhisa, Zhou Xiao
  • 学会等名: 情報処理学会アルゴリズム研究会
  • 発表場所: 九大西新プラザ（福岡県・福岡市）
  • 年月日: 2015-09-28
• [学会発表] 部分文字列数え上げ圧縮法の効率的な実現の一般化～多値化とフェーズの導入～ (2015)
  • 著者名/発表者名: 佐久間俊平, 成澤和志, 篠原歩
  • 学会等名: 電子情報通信学会コンピュテーション研究会
  • 発表場所: 信州大学（長野県・長野市）
  • 年月日: 2015-09-01
• [学会発表] しきい値回路による特徴写像 (2015)
  • 著者名/発表者名: 坂口慶介, 内澤啓, 瀧本英二
  • 学会等名: 夏のLAシンポジウム
  • 発表場所: ゆのくに天祥（石川県・加賀市）
  • 年月日: 2015-07-16
• [学会発表] スパイキングニューラルネットワークとしき い値回路の計算能力 (2015)
  • 著者名/発表者名: 小比田祥平, 内澤啓
  • 学会等名: 夏のLAシンポジウム
  • 発表場所: ゆのくに天祥（石川県・加賀市）
  • 年月日: 2015-07-16
• [学会発表] マハラノビス距離のオンライン予測 (2015)
  • 著者名/発表者名: 森富賢一郎, 畑埜晃平, 瀧本英二
  • 学会等名: 夏のLAシンポジウム
  • 発表場所: ゆのくに天祥（石川県・加賀市）
  • 年月日: 2015-07-15
• [学会発表] 離散最適化問題に対するZDD構築 (2015)
  • 著者名/発表者名: 松本晃輔, 畑埜晃平, 瀧本英二
  • 学会等名: 夏のLAシンポジウム
  • 発表場所: ゆのくに天祥（石川県・加賀市）
  • 年月日: 2015-07-14
• [学会発表] 文脈決定正則形式グラフ体系の多項式時間MAT学習 (2015)
  • 著者名/発表者名: 正代隆義
  • 学会等名: 第13 回論理と計算セミナー
  • 発表場所: 福岡工業大学（福岡県・福岡市）
  • 年月日: 2015-07-04
• [学会発表] Bradley-Terry モデルのオンライン密度推定 (2015)
  • 著者名/発表者名: 松本一成, 畑埜晃平, 瀧本英二
  • 学会等名: 電子情報通信学会IBISML 研究会
  • 発表場所: 沖縄科学技術大学院大学（沖縄県・恩納村）
  • 年月日: 2015-06-25
• [学会発表] Computational Complexity Studies of Synchronous Boolean Finite Dynamical Systems (2015)
  • 著者名/発表者名: Ogihara Mitsunori, Kei Uchizawa
  • 学会等名: 情報処理学会アルゴリズム研究会
  • 発表場所: 定山渓ビューホテル（北海道・札幌市）
  • 年月日: 2015-06-12