《麻省理工技術(shù)評論》寫到,迄今為止只有0.5%的數(shù)字數(shù)據(jù)得到了分析。從商業(yè)角度來看,這意味著無數(shù)企業(yè)正在失去提高效率、降低成本和發(fā)現(xiàn)新客戶的重大機遇,因為他們并沒有用到他們收集的數(shù)據(jù)。
傳統(tǒng)的云解決方案就連大數(shù)據(jù)應(yīng)用整合和軟件編配的最低要求都無法滿足。設(shè)計、部署、調(diào)整和維護大數(shù)據(jù)架構(gòu)的枯燥工作仍然要由客戶自己完成。
下一代的大數(shù)據(jù)云將在技術(shù)堆棧的每一個層級上都提供自動化和編配,從基礎(chǔ)的裸機設(shè)施開始,遍及應(yīng)用配置與調(diào)試到依賴與軟件升級管理的方方面面。
原文翻譯:
除了在手機上捕捉皮卡丘以外,科技界很少有東西像大數(shù)據(jù)那樣被炒得熱火朝天。然而,對于被稱為 未來潮流 的任何熱門話題、新技術(shù)和新發(fā)明,我們都應(yīng)該看穿天花亂墜的宣傳,摸清真實的情況。除了廣泛的媒體關(guān)注和對數(shù)據(jù)收集的日益強調(diào),大數(shù)據(jù)的實際應(yīng)用其實極少。
《麻省理工技術(shù)評論》寫到,迄今為止只有0.5%的數(shù)字數(shù)據(jù)得到了分析。從商業(yè)角度來看,這意味著無數(shù)企業(yè)正在失去提高效率、降低成本和發(fā)現(xiàn)新客戶的重大機遇,因為他們并沒有用到他們收集的數(shù)據(jù)。
在數(shù)據(jù)分析率令人大跌眼鏡的同時,新的數(shù)據(jù)正在被飛速創(chuàng)造和收集。到2020年,平均每人每秒將產(chǎn)生大約1.7MB的新信息。
在探究大數(shù)據(jù)分析為何滯后以及如何解決這個問題的時候,我們應(yīng)該想想數(shù)據(jù)都是在哪里得到存儲和處理的。多年來,有些機構(gòu)一直把數(shù)據(jù)存儲在云端,而敏感數(shù)據(jù)通常存儲在本地。這雖然安全,但從成本和工作量的角度來說,卻不利于建立基礎(chǔ)設(shè)施和大型數(shù)據(jù)處理中心來跟上數(shù)據(jù)的快速增長。
數(shù)據(jù)分析需要成本效益高、易于實施的云技術(shù)
云技術(shù)已經(jīng)使當今某些繁重的技術(shù)活動實現(xiàn)了自動化,而且具有成本效益,但還不是十分適合大數(shù)據(jù)分析。大量數(shù)據(jù)在云端遷入遷出會帶來安全隱患,造成性能波動,尤其是在處理TB、PB甚至EB量級的數(shù)字內(nèi)容時。另外,傳統(tǒng)的云解決方案就連大數(shù)據(jù)應(yīng)用整合和軟件編配的最低要求都無法滿足。設(shè)計、部署、調(diào)整和維護大數(shù)據(jù)架構(gòu)的枯燥工作仍然要由客戶自己完成。
舉個例子來說,谷歌(Google)擁有1.05億名活躍用戶,收集14種不同數(shù)據(jù),包括廣告點擊、瀏覽器信息、搜索查詢等等。存儲和處理這么多的數(shù)據(jù)需要健全有力、連續(xù)連貫的解決方案,但這很難通過虛擬化技術(shù)加以實現(xiàn) 這種技術(shù)會在同一臺服務(wù)器上運行不同企業(yè)的多項工作任務(wù)。虛擬機管理程序也會對大數(shù)據(jù)分析造成不利影響,因為它會在多臺主機之間分配硬件資源,導(dǎo)致處理能力被分散攤薄。這被稱為 噪音臨近 效應(yīng),它限制了云技術(shù)全力服務(wù)于大數(shù)據(jù)的潛力,因為同一個硬件架構(gòu)卻要被用于服務(wù)多個客戶。
到目前為止,兩種主要的大數(shù)據(jù)解決方案要么成本太高、耗時太多(本地數(shù)據(jù)中心),要么可靠性低、自動化與安全程度不足(虛擬云),因此無法充分利用收集到的數(shù)據(jù)。
技術(shù)創(chuàng)新的三個階段
包括大數(shù)據(jù)在內(nèi)的重大技術(shù)創(chuàng)新往往會表現(xiàn)為三個階段。
第一階段是基礎(chǔ)設(shè)施,這是 大數(shù)據(jù)架構(gòu)的基石 。
第二階段是創(chuàng)建工具,以便利用技術(shù)的力量。
第三階段便是應(yīng)用。而今基礎(chǔ)設(shè)施和工具均已就緒,大數(shù)據(jù)應(yīng)用正在通過多項技術(shù)來優(yōu)化它在云端的應(yīng)用。這些技術(shù)包括:
編程框架:Hadoop,Apache Spark
SQL數(shù)據(jù)庫:Oracle,MySQL
NoSQL數(shù)據(jù)庫:Datastax,Couchbase,MongoDB
分析:Datameer,Platfora,Trifacta
可視化分析:Tableau,Zoomdata
云技術(shù)正在針對大數(shù)據(jù)而變得更加輕量化。新一代的云技術(shù)(也被稱為專用基礎(chǔ)設(shè)施)正在照亮云端大數(shù)據(jù)項目的未來。雖然傳統(tǒng)的云平臺存在性能瓶頸和安全隱患,但新一代的云技術(shù)/專用基礎(chǔ)設(shè)施消除了不確定性,提供了穩(wěn)定的性能和各租戶隔離運行。這可消除噪音臨近效應(yīng),利用專用硬件來開展企業(yè)的大數(shù)據(jù)項目。
隨著不確定性的消除、成本的降低和安全性的提高,云技術(shù)重新成為切實可行的大數(shù)據(jù)解決方案。而且,下一代的大數(shù)據(jù)云將在技術(shù)堆棧的每一個層級上都提供自動化和編配,從基礎(chǔ)的裸機設(shè)施開始,遍及應(yīng)用配置與調(diào)試到依賴與軟件升級管理的方方面面。大數(shù)據(jù)架構(gòu)師們現(xiàn)在應(yīng)該重新審視云技術(shù),將其視為大數(shù)據(jù)的主要促進者,讓企業(yè)以實惠的價格和更快的速度分析更多的信息。
文章編輯:CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領(lǐng)域產(chǎn)品研發(fā)生產(chǎn)超五類,六類,七類屏蔽網(wǎng)線/屏蔽模塊及相關(guān)模塊配件, 我們是萬兆屏蔽模塊,10G屏蔽模塊,屏蔽線生產(chǎn)廠家。
歡迎來電咨詢0574 88168918,郵箱sales@cobinet.cn,網(wǎng)址www.idouxiong.cn
?2016-2019寧波科博通信技術(shù)有限公司版權(quán)所有浙ICP備16026074號