apache spark是什么意思?

apache spark是什么意思？

apache Spark是一個基于內存計算的開源的集群計算系統，目的是讓數據分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學AMP實驗室的Matei為主的小團隊所開發。使用的語言是Scala，項目的core部分的代碼只有63個Scala文件，非常短小精悍。

Apache Spark的5大優勢：

1.更高的性能，因為數據被加載到集群主機的分布式內存中。數據可以被快速的轉換迭代，并緩存用以后續的頻繁訪問需求。很多對Spark感興趣的朋友可能也會聽過這樣一句話——在數據全部加載到內存的情況下，Spark可以比Hadoop快100倍，在內存不夠存放所有數據的情況下快Hadoop 10倍。

2.通過建立在Java、Scala、Python、SQL(應對交互式查詢)的標準API以方便各行各業使用，同時還含有大量開箱即用的機器學習庫。

3.與現有Hadoop v1 (SIMR) 和2.x (YARN) 生態兼容，因此機構可以進行無縫遷移。

4.方便下載和安裝。方便的shell(REPL: Read-Eval-Print-Loop)可以對API進行交互式的學習。

5.借助高等級的架構提高生產力，從而可以講精力放到計算上。

同時，Apache Spark由Scala實現，代碼非常簡潔。