5 **Spark編程框架** 在計算機科學中，quotSparkquot 是一個開源的高性能的分布式計算框架，用于大規(guī)模數(shù)據(jù)處理它支持多種編程語言，并廣泛應用于大數(shù)據(jù)處理和機器學習等領域總結(jié)來說，quotSparkquot 是一個多義詞，最常見的；使用Spark，Scala不是必須的，Spark有JavaPythonR的API但是要想深入學習，還是建議學習Scala的我現(xiàn)在的感覺就是，如果你會Scala，Spark都不用怎么學因為一般的Scala程序就是這么寫的，用Spark的區(qū)別就是換了一套API；語言不同Scala 是一門函數(shù)式語言，Java是面向?qū)ο笳Z言，二者在語言特點上差異特別大但是scala也是運行在java虛擬機上，兩者可以方便的互相調(diào)用Spark作為一個數(shù)據(jù)統(tǒng)計分析的工具，它是偏向于函數(shù)式處理的思想，因此在spark；Spark SQL也有一個獨立的SQL shell，可以用SQL進行數(shù)據(jù)分析，也可以在Spark程序中或Spark shell中使用Spark SQLMLlib庫支持機器學習和數(shù)據(jù)分析而且，支持調(diào)用外部的MATLAB或R語言編寫的程序Spark使得數(shù)據(jù)科學家可以用R或；沒啥大的區(qū)別，就是spark支持不同的開發(fā)語言而已spark建議用scalc開發(fā)，畢竟spark用Scala寫的就像hadoop一樣，用java寫的，就推薦用java開發(fā)一個道理實在說有啥大的區(qū)別，我覺得最大的差別應該就是大家的心里作用吧。

Hadoop是基礎，其中的HDFS提供文件存儲，Yarn進行資源管理可以運行MapReduceSparkTez等計算框架與Hadoop相比，Spark真正的優(yōu)勢在于速度，Spark的大部分操作都是在內(nèi)存中，而Hadoop的MapReduce系統(tǒng)會在每次操作之后將所有數(shù)據(jù)；LISP語言Scala是Spark的主要編程語言，但Spark還支持JavaPythonR作為編程語言LISP是一種通用高級計算機程序語言，長期以來壟斷人工智能領域的應用LISP作為應用人工智能而設計的語言，是第一個聲明式系內(nèi)函數(shù)式程序設計；Spark的框架使用Scala語言編寫的，簡潔而優(yōu)雅Spark的開發(fā)目前主要可以使用三種語言ScalaJavaPython。

美國Spark是加州大學伯克利分校AMP實驗室Algorithms，Machines，andPeopleLab開發(fā)的通用內(nèi)存并行計算框架，Spark使用Scala語言進行實現(xiàn)，它是一種面向?qū)ο蠛瘮?shù)式編程語言，能夠像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集；就個人體會來說，Scala相對于Java的優(yōu)勢是巨大的熟悉Scala之后再看Java代碼，有種讀匯編的感覺如果僅僅是寫Spark應用，并非一定要學Scala，可以直接用Spark的Java API或Python API但因為語言上的差異，用Java開發(fā)Spark；多Spark支持JAVA等多種開發(fā)語言，支持Scala的API，支持多種高級算法，使用的用戶還是很多的，可以使用戶可以快速構(gòu)建不同的應用；1，構(gòu)建系統(tǒng)的選擇，sbt更合適用來構(gòu)建Scala工程，maven更合適用來構(gòu)建Java工程 2，對于spark中的API來說，Java和Scala有差別，但差別并不大 3，如果用Scala開發(fā)spark原型程序，可以用sparkshell“打草稿”，或者直接使用spark。

spark是一個通用計算框架Spark是一個通用計算框架，用于快速處理大規(guī)模數(shù)據(jù)Spark是一種與Hadoop相似的開源集群計算環(huán)境，但Spark在內(nèi)存中執(zhí)行任務，比Hadoop更快Spark支持多種數(shù)據(jù)源，如CSVJSONHDFSSQL等，并提供了；它已經(jīng)成功運用在電信行業(yè)Spark 是一種可擴展的數(shù)據(jù)分析平臺，它整合了內(nèi)存計算的基元，因此，相對于 Hadoop 的集群存儲方法，它在性能方面更具優(yōu)勢Spark 是在 Scala 語言中實現(xiàn)的，并且利用了該語言，為數(shù)據(jù)處理提供了獨；l MLlib是Spark實現(xiàn)一些常見的機器學習算法和實用程序，包括分類回歸聚類協(xié)同過濾降維以及底層優(yōu)化，該算法可以進行可擴充 MLRuntime 基于Spark計算框架，將Spark的分布式計算應用到機器學習領域 3Spark MLlib架構(gòu)解析 本回答由；Spark使用強大的函數(shù)式語言Scala開發(fā)，方便簡單同時，它還提供了對PythonJava和R語言的支持作為大數(shù)據(jù)計算框架MapReduce的繼任者，Spark具備以下優(yōu)勢特性1，高效性 不同于MapReduce將中間計算結(jié)果放入磁盤中，Spark采用內(nèi)存。