台南教網 – Big Data Cloud

客戶背景簡介

教育處於82年9月向教育部提出教育網路實驗計畫,經過專家學者的審慎遴選,在25縣市中脫穎而出,於83 年6 月補助台南市設置教育網路中心(以下簡稱教網中心,目前暫設於進學國小,隸屬本府教育處),其主要功能在配合教育部政策,規劃國中小學資訊科技教育推展,建置教師及學生教育資訊網路,使教師及學生能夠在學校、家裡與網際網路連線;其目的在創造更良好的資訊交流環境,期使更多的教師及學生能夠充分的獲得教學上、生活上的資訊,進而加以應用,而達到提昇教學品質及生活品質的目的,同使也培養學生俱備適應未來資訊化社會的生活能力。

  • 客戶:台南教網
  • 網站:http://www.tn.edu.tw/education/education.htm

客戶需求說明

近年來建置雲端運算平台,除了提供全市學校平台服務,也建構許多應用程式,累積大量數據資料。數據分析依賴大量運算能力資源,但部署與建置耗費大量時間與金錢,為了應付日漸增多與累積多年大資料分析需求,臺南市政府教育局資料中心預定建置雲端大數據分析平台,可依需求量身訂做之大數據雲端解決方案,除了發揮快速與效率應用,更節省金錢資源與降低人力耗費。

雲端大數據分析平台架構如下:

解決方案說明

台南教網中心導入雙子星雲端運算的大數據平台解決方案(Hadoop Cloud):

雲端IaaS系統(採用開源軟體OpenStack)

提供可介接不同大數據方案的平台(PaaS)彈性架構,未來可擴充整合更多大數據方案,並具備以下功能:

  • 雲端IaaS層資源管理
  • 雲端軟體應用層(SaaS)服務管理
  • 雲端多租戶管理,並提供新增、刪除、報表功能

平台(PaaS)預先整合Big Data Cloud (Vanilla Apache Hadoop、Cloudera)與Spark兩種大數據運算方案,與NOSQL軟體,並具備以下佈署管理功能:

  • 大數據運算方案叢集管理(cluster)擴張式叢集(Scale-out cluster, add/remove slavers to/from cluster)
  • 大數據運算方案工作管理(job)工作管理須支援Java與Pig,並可保留工作紀錄(含時間戳記、工作開始與結束歷程、輸入輸出log與log下載)
  • MongoDB叢集(cluster)管理

提供使用者與管理者Web browser-based管理介面,來管理雲端IaaS資源、PaaS平台與應用方案(Hadoop與Spark)

具體效益

雙子星雲端運算所推出的「雲端大數據平台服務」,將Hadoop事先進行整合,讓教網中心的管理者可以快速的使用大數據雲端運算服務。

  • 專為台南教網中心需求量身訂做之大數據雲端解決方案,除了發揮快速與效率應用,比起市場領導廠商更節省金錢資源與降低人力耗費。
  • 提供完整Gemini Open Cloud(簡稱GOC) Portal網頁服務介面,讓使用者可以輕鬆啟用Hadoop Cluster的資源;同時,可透過OpenStack的Horizon來使用Spark Cluster。提供台南教網中心管理者透過GOC Portal輕鬆來達到監控、診斷與設定雲端的虛擬資源。