• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Annual Research Report

10億並列・エクサスケールスーパーコンピュータの耐故障性基盤

Research Project

Project/Area Number 23220003
Research InstitutionTokyo Institute of Technology

Principal Investigator

松岡 聡  東京工業大学, 学術国際情報センター, 教授 (20221583)

Co-Investigator(Kenkyū-buntansha) 實本 英之  東京大学, 情報基盤センター, 助教 (00545311)
Project Period (FY) 2011-05-31 – 2016-03-31
Keywordsハイパフォーマンスコンピューティング / エクサスケールコンピューティング / ヘテロジニアスアーキテクチャ / 耐障害性 / チェックポイント・リスタート / 国際研究者交流(アメリカ)
Research Abstract

"細粒度超並列・ヘテロジニアス計算環境に適した新しい耐故障手法とコストモデルの確立"を行った。特に信頼性と性能を両立するために、複合的数理モデルを用いてこれらの手法を定量化し、初年度に得られた耐故障のコストモデルと組み合わせることにより、最適なチェックポイント戦略を確立する。(1)細粒度超並列計算環境に適した階層型Group-orientedチェックポイント: 障害復旧の高速化手法として知られているメッセージロギング技術と、昨年度の成果である冗長符号を用いたチェックポイント型耐故障性インターフェース(FTI)を複合的に活用し、また、メッセージロギング時のグループとチェックポイントの冗長符号化時のグループを、ネットワークのトポロジーを考慮して階層的にグルーピングすることにより、従来に比べ、細粒度超並列計算を要する津波シミューレーションコードにおいて、より効率的なチェックポイントを実現した。 (2)階層型チェックポイントの複合的数理コストモデル:一般に並列ファイルシステムは、チェックポイント先として最も信頼性が高い場所であるが、一方で並列ファイルシステムを用いた階層型チェックポイントでは、数百GPU実行において性能向上が飽和してしまい、エクサフロップに向けてのスケーリングは困難であったが、計算とは非同期的に並列ファイルシステムへチェックポイント書き出し、また複合的数理・確率モデルに基づき、必要で十分な頻度でチェックポイントを行うことにより、津波のシミュレーションなど多くの流体計算でみられる等方メッシュの差分法による直接解法を行うHimenoベンチマークにおいて、従来型の階層型チェックポイントに比べ最大で1.1から1.8倍以上の効率化を実現した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

25年度の計画であった、耐故障システムのオーバーヘッドの削減を、(1)細粒度超並列計算環境に適した階層型Group-orientedチェックポイントと(2)階層型チェックポイントの複合的数理コストモデル、として既に一部解決しており、当初の計画以上に進展しているといえる。

Strategy for Future Research Activity

これまでの耐故障アルゴリズムおよびシステムの改良を進めるとともに、様々な障害に対応 した障害復旧手法を考案する。それには、ハードウェアだけでなく、ソフトウェアの状態を監視・記録し自律的に復旧するシステムが不可欠であるが、数十億並列にスケールさせることは困難である。このため、障害復旧手のスケーラビリティ及びこれまで確立してきた様々な機構との親和性の検証し、エクサスケールシステムに対応しうる障害復旧機構の考案を行う。

  • Research Products

    (58 results)

All 2013 2012 Other

All Journal Article (15 results) (of which Peer Reviewed: 15 results) Presentation (41 results) (of which Invited: 22 results) Book (1 results) Remarks (1 results)

  • [Journal Article] CUDA vs OpenACC: Performance Case Studies with Kernel Benchmarks and a Memory Bound CFD Application2013

    • Author(s)
      Tetsuya Hoshino, Naoya Maruyama, Satoshi Matsuoka, Ryoji Takaki.
    • Journal Title

      In Proc. of the 13th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid 2013)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] A Scalable Implementation of a MapReduce-based Graph Processing Algorithm for Large-scale Heterogeneous Supercomputers2013

    • Author(s)
      Koichi Shirahata, Hitoshi Sato, Toyotaro Suzumura, Satoshi Matsuoka.
    • Journal Title

      In Proc. of the 13th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid 2013)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Improving the computing efficiency of HPC systems using a combination of proactive and preventive checkpointing2013

    • Author(s)
      M. S. Bouguerra, A. Gainaru, F.Cappello, L. Bautista Gomez, N. Maruyama and S. Matsuoka.
    • Journal Title

      Proceedings of IEEE IPDPS 2013, Boston, MA, the IEEE Press

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Bulk-Synchronous and Data-Driven Execution Models on Multi-Core Architectures: Case study of the FMM2013

    • Author(s)
      Abdelhalim Amer, Naoya Maruyama, Miquel Pericas, Kenjiro Taura, Rio Yokota and Satoshi Matsuoka.
    • Journal Title

      In Proc. of International Supercomputing Conference (ISC’13)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Energy-aware I/O Optimization for Checkpoint and Restart on a NAND Flash Memory System2013

    • Author(s)
      Takafumi Saito, Kento Sato, Hitoshi Sato and Satoshi Matsuoka.
    • Journal Title

      In FTXS'2013, the Workshop on Fault-Tolerance for HPC at Extreme Scale, in conjunction with the 22nd International ACM Symposium on High Performance Parallel and Distributed Computing (HPDC'13)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] A GPU Implementation of Generalized Graph Processing Algorithm GIM-V2012

    • Author(s)
      Koichi Shirahata, Hitoshi Sato, Toyotaro Suzumura, Satoshi Matsuoka.
    • Journal Title

      In Proc. of the 3rd International Workshop on Parallel Algorithm and Parallel Software (IWPAPS 2012), in conjunction with Cluster 2012

      Volume: - Pages: -

    • DOI

      10.1109/ClusterW.2012.34

    • Peer Reviewed
  • [Journal Article] Design and Implementation of Portable and Efficient Non-blocking collective Communication2012

    • Author(s)
      Akihiro Nomura, Yutaka Ishikawa, Naoya Maruyama, Satoshi Matsuoka.
    • Journal Title

      In Proc. of the 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid 2012)

      Volume: - Pages: -

    • DOI

      10.1109/CCGrid.2012.96

    • Peer Reviewed
  • [Journal Article] Using Bittorrent and SVC for Efficient Video Sharing and Streaming2012

    • Author(s)
      Amer Abdelhalim, Toufik Ahmed, Hidouci Walid-Khaled and Satoshi Matsuoka.
    • Journal Title

      In Proc. of the Seventeenth IEEE Symposium on Computers and Communications (ISCC’12), IEEE Press

      Volume: - Pages: -

    • DOI

      10.1109/ISCC.2012.6249352

    • Peer Reviewed
  • [Journal Article] Ultra-high Resolution Atmospheric Global Circulation Model NICAM on Graphics Processing Unit2012

    • Author(s)
      Irina Demeshko, Satoshi Matsuoka, Naoya Maruyama, Hirofumi Tomita.
    • Journal Title

      In Proc. of the 2012 International Conference on Parallel and Distributed Processing Techniques and Applications (PDTPA’12)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Multi-GPU implementation of the NICAM atmospheric model2012

    • Author(s)
      Irina Demeshko, Satoshi Matsuoka, Naoya Maruyama and Hirofumi Tomita.
    • Journal Title

      In Proc. of Tenth International Workshop on Algorithms, Models and Tools for Parallel Computing on Heterogeneous Platforms (HeteroPar’2012) in conjunction with EuroPar’2012

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Scalable Reed-Solomon-based Reliable Local Storage for HPC Applications on IaaS Clouds2012

    • Author(s)
      L. Bautista Gomez, B. Nicolae, N. Maruyama, F. Cappello, S. Matsuoka.
    • Journal Title

      In Proc. of International European Conference on Parallel and Distributed Computing (EuroPar 2012)

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Hierarchical Clustering Strategies for Fault Tolerance in Large Scale HPC Systems2012

    • Author(s)
      Leonardo Bautista Gomez, Thomas Ropars, Naoya Maruyama, Franck Cappello, Satoshi Matsuoka.
    • Journal Title

      In Proc. of IEEE Cluster 2012, IEEE Press

      Volume: - Pages: -

    • DOI

      10.1109/CLUSTER.2012.71

    • Peer Reviewed
  • [Journal Article] Scalable Multi-GPU 3-D FFT for TSUBAME 2.0 Supercomputer2012

    • Author(s)
      Akira Nukada, Kento Sato and Satoshi Matsuoka.
    • Journal Title

      In Proc. of 2012 ACM/IEEE International Conference for High Performance, Networking, Storage, and Analysis (SC’12)

      Volume: - Pages: -

    • DOI

      10.1109/SC.2012.100

    • Peer Reviewed
  • [Journal Article] Design and Modeling of a Non-blocking Checkpointing System2012

    • Author(s)
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R.de Supinski, Naoya Maruyama, Satoshi Matsuoka.
    • Journal Title

      In Proc. of 2012 ACM/IEEE International Conference for High Performance, Networking, Storage, and Analysis (SC’12), Salt Lake City, IEEE Press

      Volume: - Pages: -

    • DOI

      10.1109/SC.2012.46

    • Peer Reviewed
  • [Journal Article] High-Performance General Solver for Extremely Large-scale Semidefinite Programming Problems2012

    • Author(s)
      Katsuki Fujisawa, Toshio Endo, Hitoshi Sato, Makoto Yamashita, Satoshi Matsuoka, Maho Nakata
    • Journal Title

      In Proc. of 2012 ACM/IEEE International Conference for High Performance, Networking, Storage, and Analysis (SC’12), Salt Lake City, IEEE Press

      Volume: - Pages: -

    • DOI

      10.1109/SC.2012.67

    • Peer Reviewed
  • [Presentation] Performance of 3-D FFT using Multiple GPUs with CUDA 42013

    • Author(s)
      Akira Nukada
    • Organizer
      NVIDIA GPU Technology Conference
    • Place of Presentation
      San Jose CA, USA
    • Year and Date
      20130318-20130321
  • [Presentation] Porting and Optimizing a Large-Scale CFD application with CUDA and OpenACC2013

    • Author(s)
      Tetsuya Hoshino, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      Society for Industrial and Applied Mathematics Conference on Computational Science and Engineering
    • Place of Presentation
      Boston MA, USA
    • Year and Date
      20130225-20130301
  • [Presentation] ディレクティブベースプログラミング言語OpenACCの性能評価2013

    • Author(s)
      星野哲也, 丸山直也, 松岡聡
    • Organizer
      2013年ハイパフォーマンスコンピューティングと計算科学シンポジウム論文集
    • Place of Presentation
      東京工業大学(東京都)
    • Year and Date
      20130115-20130116
  • [Presentation] ステンシル計算における通信の自動最適化に向けた性能モデルの評価2013

    • Author(s)
      河村知輝, 丸山直也, 松岡聡
    • Organizer
      2013年ハイパフォーマンスコンピューティングと計算科学シンポジウム論文集
    • Place of Presentation
      東京工業大学(東京都)
    • Year and Date
      20130115-20130116
  • [Presentation] GPUメモリ容量を超える問題規模に対応する高性能ステンシル計算法2012

    • Author(s)
      金 光浩, 遠藤 敏夫, 松岡 聡
    • Organizer
      情報処理学会研究報告, Vol. 2012-ARC-194/HPC-137
    • Place of Presentation
      北海道大学学術交流会館(札幌市)
    • Year and Date
      20121213-20121214
  • [Presentation] TSUBAME2.0におけるMulti-rail InfiniBandネットワークの性能評価2012

    • Author(s)
      野村 哲弘, 遠藤 敏夫, 松岡 聡
    • Organizer
      情報処理学会研究報告, Vol. 2012-ARC-194/HPC-137
    • Place of Presentation
      北海道大学学術交流会館(札幌市)
    • Year and Date
      20121213-20121214
  • [Presentation] The Exascale Supercomputing Progress in Japan and the G8 Climate Project2012

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      The 2nd International Workshop on "Collaborative Development of Simulation software of next Generation" (CO-DESIGN 2012)
    • Place of Presentation
      Beijing, China
    • Year and Date
      20121023-20121025
    • Invited
  • [Presentation] Japanese Trends of Supercomputing R&D2012

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      2012International Forum on HPC Architecture and Challenges
    • Place of Presentation
      Shanghai, China
    • Year and Date
      20121010-20121011
    • Invited
  • [Presentation] 動的タスクスケジューリングエンジンStarPUによるKIFMMの実装と性能評価2012

    • Author(s)
      福田圭祐,丸山直也,Miquel Pericas,松岡聡
    • Organizer
      IPSJ SIG Technical Reports 2012-HPC-136
    • Place of Presentation
      沖縄産業振興センター(那覇市)
    • Year and Date
      20121003-20121004
  • [Presentation] Avoiding silent data corruption in checkpoint files2012

    • Author(s)
      Leonardo Bautista Gomez,Satoshi Matsuoka
    • Organizer
      IPSJ SIG Technical Reports 2012-HPC-136.
    • Place of Presentation
      沖縄産業振興センター(那覇市)
    • Year and Date
      20121003-20121004
  • [Presentation] Towards a Dataflow FMM using the OmpSs Programming Mode2012

    • Author(s)
      Miquel Pericas,Keisuke Fukuda,Abdelhalim Amer,Rio Yokota,Naoya Maruyama,Satoshi Matsuoka
    • Organizer
      IPSJ SIG Technical Reports 2012-HPC-136
    • Place of Presentation
      沖縄産業振興センター(那覇市)
    • Year and Date
      20121003-20121004
  • [Presentation] 大規模流体アプリケーションの CUDA・OpenACC への移植性の評価2012

    • Author(s)
      星野 哲也, 丸山 直也, 松岡 聡
    • Organizer
      2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012)
    • Place of Presentation
      とりぎん文化会舘(鳥取市)
    • Year and Date
      20120801-20120803
  • [Presentation] 並列ステンシル計算における通信の自動最適化に向けた性能モデルの評価2012

    • Author(s)
      河村知輝, 丸山直也, 松岡聡
    • Organizer
      2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012)
    • Place of Presentation
      とりぎん文化会舘(鳥取市)
    • Year and Date
      20120801-20120803
  • [Presentation] Design and Modeling of an Asynchronous Checkpointing System2012

    • Author(s)
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. De Supinski, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      2012年並列/分散/協調処理に関する『鳥取』サマー・ワークショップ(SWoPP鳥取2012)
    • Place of Presentation
      とりぎん文化会舘(鳥取市)
    • Year and Date
      20120801-20120803
  • [Presentation] TOP500 - 20 Years Later2012

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      ISC Think Tank Sponsored by HPCwire, ISC 12
    • Place of Presentation
      Hamburg, Germany
    • Year and Date
      20120617-20120621
    • Invited
  • [Presentation] Programming Models in the Years to Come2012

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      ISC Think Tank Sponsored by HPCwire, ISC12
    • Place of Presentation
      Hamburg, Germany
    • Year and Date
      20120617-20120621
    • Invited
  • [Presentation] Implementation of Efficient Non-blocking Collective Communication Framework2012

    • Author(s)
      Akihiro Nomura, Yutaka Ishikawa, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      HPC in Asia Workshop in conjunction with the 2012 International Supercomputing Conference (ISC’12)
    • Place of Presentation
      Hamburg, Germany
    • Year and Date
      20120617-20120621
  • [Presentation] Towards a Light-weight Non-blocking Checkpointing System2012

    • Author(s)
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      HPC in Asia Workshop in conjunction with the 2012 International Supercomputing Conference (ISC’12)
    • Place of Presentation
      Hamburg, Germany
    • Year and Date
      20120617-20120621
  • [Presentation] Physis フレームワークにおける性能モデルに基づく通信の自動最適化に向けて2012

    • Author(s)
      河村知輝,丸山直也,松岡聡
    • Organizer
      先進的計算基盤システムシンポジウムSACSIS2012論文集, ポスター
    • Place of Presentation
      神戸国際会議場(神戸市)
    • Year and Date
      20120516-20120518
  • [Presentation] 大規模流体アプリケーションのGPU による高速化手法の評価2012

    • Author(s)
      星野哲也,丸山直也,松岡聡
    • Organizer
      先進的計算基盤システムシンポジウムSACSIS2012論文集, ポスター
    • Place of Presentation
      神戸国際会議場(神戸市)
    • Year and Date
      20120516-20120518
  • [Presentation] Design and Modeling of a Non-Blocking Checkpoint System2012

    • Author(s)
      Kento Sato, Adam Moody, Kathryn Mohror, Todd Gamblin, Bronis R. de Supinski, Naoya Maruyama, Satoshi Matsuoka
    • Organizer
      ATIP - A*CRC Workshop on Accelerator Technologies in High Performance Computing
    • Place of Presentation
      Singapore
    • Year and Date
      20120507-20120509
  • [Presentation] スパコンTSUBAME2.0のアーキテクチャ

    • Author(s)
      松岡 聡
    • Organizer
      ソニー株式会社システムアーキテクトワークショップ
    • Place of Presentation
      ソニーシティー大崎(東京都)
    • Invited
  • [Presentation] エクサに向けたGPUによるウルトラグリーンコンピューティング

    • Author(s)
      松岡 聡
    • Organizer
      東京工業大学学術国際情報センター/クレイジャパン共同開催・GPU/OpenACC講演会--GPUコンピューティングの新しい方向性
    • Place of Presentation
      東京工業大学学術国際情報センター(東京都)
    • Invited
  • [Presentation] TSUBAME2.0 Towards 3.0 and Exascale

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      NEC User Group (NUG) Meeting
    • Place of Presentation
      Potsdam, Germany
    • Invited
  • [Presentation] From Petascale to Exascale” Beyond Tsubame 2: Bridging the Gap from Petascale to Exascale

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      HP-CAST 18
    • Place of Presentation
      Hamburg, Germany
    • Invited
  • [Presentation] 世界のトップランクスパコンTSUBAME2.0を解き明かす

    • Author(s)
      松岡 聡
    • Organizer
      東京工業大学公開講演シリーズ:東工大の最先端研究
    • Place of Presentation
      東工大 キャンパス・イノベーションセンター(東京都)
    • Invited
  • [Presentation] 東工大TSUBAMEと光インターコネクション

    • Author(s)
      松岡 聡
    • Organizer
      シリコンフォトニクス研究会
    • Place of Presentation
      神戸大学(神戸市)
    • Invited
  • [Presentation] We choose to go Exascale, Not because it’s easy, but because it’s hard

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      TTI Vanguard The Advanced Technology Conference series
    • Place of Presentation
      ANAインターコンチネンタルホテル東京(東京都)
  • [Presentation] エクサに向けたGPUによるウルトラグリーンコンピューティング

    • Author(s)
      松岡 聡
    • Organizer
      GTC(GPU Tech Conference) Japan 2012
    • Place of Presentation
      六本木ミッドタウン(東京都)
    • Invited
  • [Presentation] CUDA版自動チューニング手法

    • Author(s)
      額田 彰
    • Organizer
      GTC(GPU Tech Conference) Japan 2012
    • Place of Presentation
      六本木ミッドタウン(東京都)
  • [Presentation] 50GFLops/W, PUE < 1, 100KW/ラックに挑戦するTSUBAME3.0およびエクサへのグリーンスパコン取り組み

    • Author(s)
      松岡 聡
    • Organizer
      電子情報通信学会 インターネットアーキテクチャ研究会 (IA)
    • Place of Presentation
      IIJ神保町三井ビル(東京都)
    • Invited
  • [Presentation] 数百億トランジスタ時代のスーパーコンピューティング

    • Author(s)
      松岡 聡
    • Organizer
      日本学術振興会シリコン超集積化システム第165委員会 2012年10月研究会
    • Place of Presentation
      東京大学生産技術研究所(東京都)
    • Invited
  • [Presentation] Greenest Production Supercomputer in the World “, Third Annual Workshop on Energy Efficient High Performance Computing - Redefining System Architecture and Data Centers

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      ACM IEEE Supercomputing 2011(SC12)
    • Place of Presentation
      Salt Lake City UT, USA
    • Invited
  • [Presentation] TSUBAME2.0 Storage Evolution

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      Data Direct Networks (DDN) User Group Meeting
    • Place of Presentation
      Salt Lake City UT, USA
    • Invited
  • [Presentation] TSUBAM2.0 to 2.5 and onto 3.0

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      NEC Corporation Booth Event at ACM IEEE Supercomputing 2011(SC12)
    • Place of Presentation
      Salt Lake City UT, USA
    • Invited
  • [Presentation] Beyond TSUBAME 2.0

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      GPU Technology Theater (NVIDIA Booth Event) at ACM IEEE Supercomputing 2012(SC12)
    • Place of Presentation
      Salt Lake City UT, USA
    • Invited
  • [Presentation] ULPHPC: Ultra Low Power Supercomputing to Achieve 1000-fold Power Efficiency Improvement in 10 Years TSUBAME2.0

    • Author(s)
      Satoshi Matsuoka
    • Organizer
      Tokyo Tech Booth Talk Event at ACM IEEE Supercomputing 2012(SC12)
    • Place of Presentation
      Salt Lake City UT, USA
    • Invited
  • [Presentation] TSUBAME2.0から3.0、更にはエクサフロップスへ向けたスパコンの将来

    • Author(s)
      松岡 聡
    • Organizer
      蔵前工業会東海支部講演会
    • Place of Presentation
      名古屋都市センター(名古屋市)
    • Invited
  • [Presentation] TSUBAME2.0から3.0へ向けて:ペタからエクサへの道

    • Author(s)
      松岡 聡
    • Organizer
      可視化情報学会 第18回ビジュアリゼーション・カンファレンス
    • Place of Presentation
      タイム24ビル(東京都)
    • Invited
  • [Presentation] TSUBAME2.0における光ネットワークと、エクサに向けた今後の展開

    • Author(s)
      松岡 聡
    • Organizer
      フォトニックデバイス・応用技術研究会ワークショップ
    • Place of Presentation
      産業技術総合研究所・臨海副都心センター(東京都)
    • Invited
  • [Presentation] 我が国初のペタフロップススパコンTSUBAME2.0と3.0への進化

    • Author(s)
      松岡 聡
    • Organizer
      物性研究所共同利用スパコン合同研究会“計算物性物理学の新展開”
    • Place of Presentation
      東京大学物性研究所(柏市)
    • Invited
  • [Book] スーパーコンピュータ(岩波講座 計算科学 別巻)2012

    • Author(s)
      小柳 義夫 (著, 編集), 中村 宏 (著), 佐藤 三久 (著), 松岡 聡 (著)
    • Total Pages
      220ページ
    • Publisher
      岩波書店
  • [Remarks] MATSUOKA Lab @ Tokyo Tech

    • URL

      http://matsu-www.is.titech.ac.jp/

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi