1. 首頁
  2. 計算機/網際網路/通訊

大資料分析工具有哪些

大資料分析工具有哪些

“大資料”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大資料時代》中提出,指不用隨機分析法(抽樣調查)的捷徑,而是採用所有資料進行分析處理。那麼,大資料的分析工具有哪些呢?下面和小編一起看看吧!

大資料分析工具有哪些

大資料分析Storm:Apache Storm是一種開源的分散式實時計算系統。Storm加速了流資料處理的過程,為Hadoop批處理提供實時資料處理。

Spark:Spark是一個相容Hadoop資料來源的記憶體資料處理平臺,執行速度相比於HadoopMapReduce更快。Spark適合機器學習以及互動式資料查詢工作,包含Scala、Python和JavaAPI,這更有利於開發人員使用。

Twitter流處理工具Summingbird:與Storm和Scalding相似,開發者可以使用非常接近原生的Scala或者Java在Summingbird上執行MapReduce作業。

AWSKinesis:AmazonKinesis是一種實時資料流處理管理服務。它可以收集和處理來自不同資料來源的資料,允許開發者編寫可處理實時資訊的應用程式,來源網站click-streams、營銷和財務資訊、製造工具和社交媒體,和操作日誌和計量資料。

DataTorrent:DataTorrent是實時流媒體平臺,可使企業執行資料處理或轉換結構化與非結構化資料、實時資料流到資料中心。該產品主要利用Hadoop2.0和YARN技術。

SpringXD:透過任意數量的處理器,SpringXD架構支援事件驅動的資料流攝入。流是由Spring整合介面卡支援。

SQLStream:SQLStream為流媒體分析、視覺化和機器資料持續整合提供了一個分散式流處理平臺。大資料(Hadoop)即服務ElasticMapReduce:AmazonElasticMapReduce(亞馬遜EMR)是一個web服務,提供大量資料處理。透過一個大小可調整的AmazonEC2例項叢集,EMR使用Hadoop來分配並處理資料。

Qubole:Qubote的大資料服務提供Hadoop叢集內建資料聯結器和大資料專案圖形編輯器。

Mortar:Mortar是一個通用的大規模科學資料平臺。它建立在AmazonWeb服務雲,使用彈性MapReduce(EMR)啟動Hadoop叢集並處理大型資料集。Mortar可執行ApachePig,這是一個構建在Hadoop上的資料流語言。此外,Mortar還可執行Hadoop]、Pig、Java、Python和Luigi等,讓使用者專注於研究科學資料,無需擔心IT基礎設施。

Rackspace:RackspaceHadoop叢集可執行HadoopRackspace託管專用伺服器,自旋向上Hadoop公共雲,或配置自己的私有云。

Joyent:JoyentHadoop是一個基於ApacheHadoop專案大資料託管環境雲的解決方案。提供資料儲存服務獲取、分析和訪問任何資料格式、資料管理服務以處理、監控和執行Hadoop及資料平臺服務安全、存檔和規模一致的可用性。

Google:Hadoop在谷歌的雲平臺上使用開源的ApacheHadoop谷歌計算引擎的虛擬機器。SQL-in-Hadoop解決方案ApacheHive:ApacheHive優化了大型資料集分散式儲存的查詢和管理過程。Mapreduce開發者也可以插入自定義對映器和還原劑。

Impala:Cloudera的Impala是一個開源的大規模並行處理(MPP)SQL查詢引擎,執行在ApacheHadoop。使用者可直接查詢儲存在HDFS和ApacheHBase的資料,無需進行資料遷移或轉換。

Shark:Shark是一種與ApacheHive相容的Spark資料倉庫系統。Shark支援Hive查詢語言、metastore、序列化格式和使用者自定義函式。

SparkSQL:SparkSQL的前身是shark。在hadoop發展過程中,為了給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具,hive應運而生,是當時唯一執行在hadoop上的SQL-on-Hadoop工具。但是,MapReduce計算過程中大量的中間磁碟落地過程消耗了大量的I/O,降低的執行效率,為了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具開始產生。

ApacheDrill:ApacheDrill目前是Apache的一個孵化專案。提供了不同資料來源特別的查詢,包括巢狀資料。受GoogleDremel的啟發,Drill是專為大型資料集提供可擴充套件性和查詢的能力。該專案是由MapR寫成。

ApacheTajo:ApacheTajo是ApacheHadoop大資料相關的分散式資料倉庫系統。Tajo專為低延遲、可擴充套件的即時查詢、線上聚合及ETL(提取-轉換-裝載過程)在大型資料集儲存在HDFS(Hadoop分散式檔案系統)和其他資料來源。

Presto:Presto框架轉眼間從Facebook框架是一個Presto是Facebook開發的開源分散式SQL查詢引擎,支援對任意級大小的資料來源進行快速地互動分析。

Phoenix:Phoenix是一款開源的ApacheHBaseSQL查詢引擎,由JDBC驅動程式,可使用SQL查詢和管理HBase表。此專案已提交成為Apache孵化器專案。

Pivotal’sHAWQ:作為Pivotal大資料集的一部分,HAWQ是一個MPPSQL處理引擎。HAWQ實際上就是一個大規模並行處理工程或MPP,資料庫執行在Hadoop中,位於HDFS的頂部。作為一個單一的.系統,它將一整套聚合基礎設施嵌入系統,那套聚合基礎設施可以執行和提供Hadoop和HDFS必須提供的所有功能以及你能從MPP資料庫中獲得的規模、效能和可查詢功能。大資料Lambda架構Lambda系統架構(LA)提供了一個結合實時資料和Hadoop預先計算的資料環境的混合平臺,以提供一個實時的資料檢視。Lambda架構框架主要包括:

Twitter’sSummingbird:Twitter的開源Summingbird大資料分析工具,透過整合批處理與流處理來減少它們之間的轉換開銷。區別於以往的更快、更準確節奏,Summingbird更注重於流處理與批處理的無縫整合,以及程式語言的原生化。

Summingbird是一個大規模資料處理系統,支援開發者以批處理模式(基於Hadoop/MapReduce)或流處理模式(基於Storm)或混合模式(即組合前兩種模式)以統一的方式執行程式碼。

Lambdoop:Lambdoop是一個Java框架,用於以與Lambda架構一致的方式開發大資料應用。Lambda架構的特色是有一個不可修改、只能追加資料的主資料庫,並組合了批處理、服務和加速等不同的層。