九九热久久这里精品16_久久99热狠狠色精品_挺进邻居人妻雪白的身体_欧美性猛交xxxx免费看_好男人视频免费观看高清www

首頁-新聞動態(tài)-新聞詳情

短視頻“崛起”背后的數據中心存儲架構選擇

發(fā)布時間:作者:cobinet 配線架瀏覽:532次來源:
CobiNet(寧波)推薦文章:

過去二十年,從看文字資訊,到后來看圖片集錦,再到現(xiàn)在看視頻,互聯(lián)網內容不斷更新迭代,信息量變得越來越大、可視性也越來越強。短視頻也因此應運而生,并且迅速占據我們工作、生活之余的大部分碎片時間,目前,單獨一個短視頻平臺的日播放量就能高達到100億次。

在短視頻業(yè)務快速擴張的背后,是各種技術的不斷革新包括移動終端性能的提升,移動網絡的提速,當然還有后端計算平臺的日益強勁和穩(wěn)健。

當我們從看圖時代轉向視頻時代時,又需要什么樣的變革來適應新的業(yè)務應用?

開展短視頻業(yè)務前,你需要先了解這些數字

每月PB級的數據存在哪?

相對于文字和圖片,視頻的存儲需要更大的空間。以國內某短視頻平臺的對外公開數據來看,其平臺注冊用戶超過5億,日活躍人數8000萬,每天新增的段視頻數量1000萬,按照1條57s的視頻大小6MB左右來算,僅從存儲的視頻容量來看,平臺每月新增的短視頻容量都將超過1PB.那我們再算下,按照單塊硬盤8T,每臺服務器12塊硬盤,那么每月僅為了存儲這些視頻就新增12臺服務器。

如何面對80%的 冷 卻不可舍棄的數據?

視頻行業(yè),不論是短視頻,還是直播,又或是視頻網站,他們的數據都有著一個共同的特點 數據的熱度不均且變化較快。比如據統(tǒng)計,大部分上傳的數據的高熱度狀態(tài)僅能保持1周甚至更短的時間。在數據中心中熱數據、溫數據和冷數據占總數據量的比例約為5%、15%、80%.冷數據也可以被叫做 低價值度的數據 ,因為它們占用著大部分的存儲空間,但是通常不會再產生價值(被觀看)。

但是,從一方面來看短視頻從本質上來講類似QQ空間、微信朋友圈,是一種記錄生活的平臺,因此平臺需要保證保有的數據不會被刪除,因此這80%的數據成為 沒有價值 但是不能被舍棄的 雞肋 數據。

如何安全且低成本地保存這些低價值度的視頻數據?

高功耗的存儲服務器將帶來居高不下的運營成本

服務器產品在維護階段具有周期長、維護成本高的特點,一般而言2年的維護成本就會超過購買成本。所以在設備運行過程中降低耗電量和簡化維護成了必須重視的工作。

目前國內大部分的存儲服務器仍是采用通用服務器的配置,并沒有針對溫冷數據的存儲應用進行優(yōu)化。因此目前大多數數據中心中的存儲系統(tǒng)都處于低負載卻高功耗的狀態(tài),如何把存儲集群的功耗降下來,是把數據中心從成本中心轉為利潤中心的關鍵之一。

浪潮SA5224M4存儲集群

短視頻背后的數據中心需要怎樣的存儲架構

計算和存儲分離,讓專業(yè)的機器做專業(yè)的事

短視頻背后的數據中心架構其實并不是特別復雜,從視頻采集端到客戶端,編解碼、用戶特征分析由專門的計算節(jié)點完成;CDN節(jié)點負責熱點視頻的緩存加速和分發(fā);高密度的存儲節(jié)點用于存儲平臺的視頻數據。

CDN節(jié)點,考慮如何讓熱點數據最快發(fā)出

由于視頻流量大,因此CDN節(jié)點所承載的吞吐量較大,因此對于存儲容量和擴容的便捷度要求更高。另外由于CDN需要存儲的數據熱度不一,比如1年前的自拍視頻,和最熱網紅的最新出品的點擊率有天壤之別。因此,視頻數據需要分級存儲,將不同熱度數據放在不同的存儲介質中,充分發(fā)揮部件的利用效率,提升存儲能效比。

對于CDN服務器的選擇,通常會需要計算和存儲兩類服務器來支撐:計算型主要用于處理分發(fā)任務等,CPU采用較高主頻即可,對于內存和硬盤容量的要求并不高;存儲型則用于在關鍵節(jié)點的數據存儲和快速分發(fā),因此要求IT架構中需要大容量的SSD或者高速HDD來應對。

在服務器的選擇上可以考慮浪潮SA5212M5這種計算存儲均衡類服務器,。在存儲性能上,SA5212M5搭配12塊大容量SATA硬盤,單塊容量達到8T,單機可容納96T的CDN數據,滿足CDN集群的龐容量需求。而對于相對熱的數據,SA5212M5中可加入的4塊2.5寸SSD盤位,將提升系統(tǒng)整體響應速度,經實測,使用SSD固態(tài)硬盤后單臺服務器的服務能力提升了1倍以上。

高密存儲節(jié)點,考慮如何提升存儲能效比

作為存儲節(jié)點的高密度服務器本身不需要太高的計算處理性能,因此可以選擇基于Intel Xeon-D處理器家族的SA5224M4機型,搭配單顆D-1521 CPU,借助Xeon-D的SOC特性和低功耗優(yōu)勢,通過大容量8T硬盤的使用,以追求更優(yōu)的TCO收益。

從實際測試數據來看來看,搭載D-1531 CPU的SA5224M4的計算性能已經達到原E5-2620V3 平臺服務器的80%左右,但是單CPU的TDP(散熱設計功耗)只用45W,相比傳統(tǒng)E5 CPU功耗降低35W以上。一般服務器的生命周期為三年,這樣算下來,1000臺的存儲服務器集群就能節(jié)省下至少1050萬的電費。

高硬盤IO和網絡IO

在短視頻的傳遞鏈條中,從用戶端上傳的視頻可以直接存入4U36盤位組成的存儲集群中,并通過分布在各地的CDN節(jié)點傳送給用戶端觀看,這樣自然對后端存儲服務器的硬盤IO表現(xiàn)有著較高的要求。而目前應用的SA5224M4機型,其36盤位順序寫的總帶寬接近4.8GB,順序讀接近6GB,有力支撐了這種硬盤高IO讀寫的性能需求。此外,借助SA5224M4的板載萬兆優(yōu)勢,可構建起10Gb的內部高速互聯(lián)網絡,保障了數據訪問和傳輸所需的網絡帶寬。

更高的機柜部署密度

同時,衡量服務器的磁盤密度不僅要看每U空間支持的磁盤數量,更要放在機房供電環(huán)境下評估單機柜支持的磁盤密度?;贗ntel Xeon-D平臺的集成性和低功耗優(yōu)勢,在20A的機柜中,42U的空間內,SA5224M4可部署9-10臺,單機柜磁盤部署密度提升25%,即以往雙路4U36需要部署5個機柜的磁盤密度,當前4個機柜就能解決。不僅提高了單機柜供電利用效率,更減少了租賃機柜的數量,節(jié)省服務器生命周期內的運營成本。

基于Xeon-D平臺的浪潮SA5224M4高密存儲服務器

短視頻無疑是2017年投資的風口,在互聯(lián)網巨頭爭相布局的同時,不妨審視一下自己的數據中心:你真的為海量視頻資源找到理想的存儲選擇了嗎?

文章編輯:CobiNet(寧波)  
本公司專注于電訊配件,銅纜綜合布線系列領域產品研發(fā)生產超五類,六類,七類線,屏蔽模塊,配線架及相關模塊配件的研發(fā)和生產。

歡迎來電咨詢0574 88168918,郵箱sales@cobinet.cn,網址www.idouxiong.cn

相關新聞

 

?2016-2019寧波科博通信技術有限公司版權所有浙ICP備16026074號