真實世界的體驗

虛擬機器的限制

真實世界的體驗意味著一個人可以在真實的生產環境中操作真實的機器。 在真實環境中工作的經驗常常與模擬環境中的經驗大相徑庭。 顯然,真實的環境比模擬的環境更受大數據世界的重視。 為了使之成為可能,我們提出了 CloudxLab。 Cloudxlab 基本上是一個電腦叢集(互相連線的電腦) ,它預先安裝了必要的技術堆疊,包括 Apache Hadoop、 Apache Spark、 Kafka、 Python、 R 和其他相關技術。

與諸如 Hadoop 的虛擬機器之類的模擬環境相比(基本上是一臺需要下載並在單臺電腦上執行的虛擬機器),基於叢集的學習提供了更加真實的體驗。 虛擬機器只在一臺機器上執行,而大多數大數據技術元件在多臺電腦上執行。

例如,任何 MapReduce (Hadoop 中最重要的元件之一,用於使用並行的,分散式演演算法處理大型資料集的叢集) 任務只能在單個機器上執行,這違背了大數據技術使用的並行( parallel ),分散式運算的整個概念。 這就是為什麼學習大數據工具一個擁有多台電腦的叢集是勢在必行的。 使用 CloudxLab 可從叢集服務上獲得大數據技術的真實體驗。

Powered by WordPress.com.

Up ↑

%d 位部落客按了讚: