2017 Fiscal Year Research-status Report
大規模データからの集約的シンボリックデータの作成に関する研究
| Project/Area Number |
15K00059
|
|---|
| Research Institution | Tokushima Bunri University |
|---|
Principal Investigator |
山本 由和 徳島文理大学, 理工学部, 教授 (80240133)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | SparkR / R / 可視化ソフトウェア / 並列分散計算 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，大規模データから集約的シンボリックデータを作成できるようにすることである．このために，並列分散処理と可視化技術を利用して，次の(1)と(2)を実現する予定である．
(1) 1台の計算機で処理できないような大規模データから集約などによって，インタラクティブに処理できる程度の大きさのデータを作成する．この時に並列分散処理を行う．
(2)(1)で作成したデータについての適切な集約的シンボリックデータを作り出す．
これは，データによって異なるために，可視化と対話的な操作による試行錯誤を行う．この時に，必要に応じて(1)の処理に戻ることもある．適切な集約的シンボリックデータを作り出すことができれば，可視化によって大規模データの傾向を正しく把握することを期待できる．
現在までに，(1)についての検討と設計・実装を行った．具体的には，次の2つのことを行った．1つは，MapReduceとApache Sparkによる並列分散処理の設計・実装である．特に，Apache Sparkの使用によって，大規模データに対する処理を高速に行うことができる．また，RからApache Sparkを利用した並列処理を行うためのソフトウェアであるSparkRについても調査・検討を行った．この結果，Rのプログラムを利用した計算を，並列分散処理によって大規模データに適用できるようになった．
また，(2)については，Java言語による可視化ソフトウェアであるJasplotをRから利用するための検討と設計・実装を行った．これによって，SparkRで計算した結果を分散ファイルシステムからローカルファイルシステムに集めて簡単な操作で可視化できるようになった．これは，特に，試行錯誤によって集約的シンボリックデータを作成する場合には有効と考えている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Rのプログラムによる集約的シンボリックデータの生成とRからJasplotを利用した可視化例を含めた研究発表を行うことができた．
また，学生を中心としたチームがデータ解析コンペティションに参加して，実データに対しても適用することができた．
|
| Strategy for Future Research Activity |
適切な集約的シンボリックデータを作り出すことができれば，可視化によって大規模データの傾向を正しく把握できることを示したい．
このために，これまでの研究成果をまとめて，SparkRを利用した大規模データに対する集約的シンボリックデータの生成とSparkRからJasplotを利用した可視化を行う．
|
| Causes of Carryover |
国際会議への出張旅費が予定よりも安価になったため
|
