img_tech01

Hadoop Cloud 大數據雲

方案概念

數據分析依賴大量運算能力資源,但部署與建置耗費大量時間與金錢,為了應付日漸增多與累積多年大資料分析需求,建置雲端大數據分析平台,來依需求量身訂做大數據雲端解決方案,以發揮快速與效率應用,更可達到節省金錢資源與降低人力耗費的效果。

透過雙子星雲端的完整解決方案整合Hadoop/Spark的大數據應用,可大幅降低企業建置門檻與IT管理負擔,彈性的雲端架構,可視使用者需求在未來擴充更大規模,或是加入更多大數據應用服務上雲端。

方案特色

雲端大數據分析平台架構如下:

解決方案說明

雙子星雲端運算大數據雲平台架構如下:

方案規格

軟體規格

(一) 雲端IaaS系統(採用開源軟體OpenStack)

(二) 提供使用者與管理者Web browser-based管理介面,來管理雲端IaaS資源、PaaS平台與應用方案(Hadoop與Spark)

(三) 提供可介接不同大數據方案的平台(PaaS)彈性架構,未來可擴充整合更多大數據方案,並具備以下功能:

  • 雲端IaaS層資源管理
  • 雲端軟體應用層(SaaS)服務管理
  • 雲端多租戶管理
    並提供新增、刪除、報表功能。

(四) 平台(PaaS)預先整合Hadoop (Vanilla Apache Hadoop、Cloudera)與Spark兩種大數據運算方案,與NOSQL軟體,並具備以下佈署管理功能:

  • 大數據運算方案叢集管理(cluster)
    擴張式叢集(Scale-out cluster, add/remove slavers to/from cluster)
  • 雲端軟體應用層(SaaS)服務管理
  • 大數據運算方案工作管理(job)
    工作管理須支援Java與Pig,並可保留工作紀錄(含時間戳記、工作開始與結束歷程、輸入輸出log與log下載)
  • MongoDB叢集(cluster)管理

硬體規格

雙子星雲端2U4Node超融合一體機可負擔高達上百台VM的大數據叢集使用規模。

具體效益

  • 將Hadoop事先進行整合,讓管理者可以快速使用大數據雲端運算服務
  • 可依客戶需求量身訂做之大數據雲端解決方案,除了發揮快速與效率應用,比起市場領導廠商更節省金錢資源與降低人力耗費
  • 提供完整Gemini Open Cloud(簡稱GOC) Portal網頁服務介面,讓使用者可以輕鬆啟用Hadoop Cluster的資源
  • 提供管理者透過GOC Portal輕鬆來達到監控、診斷與設定雲端的虛擬資源