工控網(wǎng)首頁
>

應用設計

>

大數(shù)據(jù)的三種存儲架構(gòu)解析

大數(shù)據(jù)的三種存儲架構(gòu)解析

2019/7/5 13:52:33

數(shù)據(jù)時代,移動互聯(lián)、社交網(wǎng)絡、數(shù)據(jù)分析、云服務等應用的迅速普及,對數(shù)據(jù)中心提出革命性的需求,存儲基礎架構(gòu)已經(jīng)成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣電等各個領域新興應用層出不窮。數(shù)據(jù)的價值日益凸顯,數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn)。作為數(shù)據(jù)載體和驅(qū)動力量,存儲系統(tǒng)成為大數(shù)據(jù)基礎架構(gòu)中最為關鍵的核心。

  傳統(tǒng)的數(shù)據(jù)中心無論是在性能、效率,還是在投資收益、安全,已經(jīng)遠遠不能滿足新興應用的需求,數(shù)據(jù)中心業(yè)務急需新型大數(shù)據(jù)處理中心來支撐。除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外,新型的大數(shù)據(jù)中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特征,才能滿足具備大數(shù)據(jù)特征的應用需求。這些史無前例的需求,讓存儲系統(tǒng)的架構(gòu)和功能都發(fā)生了前所未有的變化。

基于大數(shù)據(jù)應用需求,“應用定義存儲”概念被提出。存儲系統(tǒng)作為數(shù)據(jù)中心最核心的數(shù)據(jù)基礎,不再僅是傳統(tǒng)分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特征之外,還要有虛擬化、并行分布、自動分層、彈性擴展、異構(gòu)資源整合、全局緩存加速等多方面的特點,才能滿足具備大數(shù)據(jù)特征的業(yè)務應用需求。

  尤其在云安防概念被熱炒的時代,隨著高清技術的普及,720P、1080P隨處可見,智能和高清的雙向需求、動輒500W、800W甚至上千萬更高分辨率的攝像機面市,大數(shù)據(jù)對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求,需要充分考慮功能集成度、數(shù)據(jù)安全性、數(shù)據(jù)穩(wěn)定性,系統(tǒng)可擴展性、性能及成本各方面因素。

  目前市場上的存儲架構(gòu)如下:

  (1)基于嵌入式架構(gòu)的存儲系統(tǒng)

  節(jié)點NVR架構(gòu)主要面向小型高清監(jiān)控系統(tǒng),高清前端數(shù)量一般在幾十路以內(nèi)。系統(tǒng)建設中沒有大型的存儲監(jiān)控中心機房,存儲容量相對較小,用戶體驗度、系統(tǒng)功能集成度要求較高。在市場應用層面,超市、店鋪、小型企業(yè)、政法行業(yè)中基本管理單元等應用較為廣泛。

  (2)基于X86架構(gòu)的存儲系統(tǒng)

  平臺SAN架構(gòu)主要面向中大型高清監(jiān)控系統(tǒng),前端路數(shù)成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視頻存儲系統(tǒng)。作為監(jiān)控平臺的重要組成部分,前端監(jiān)控數(shù)據(jù)通過錄像存儲管理模塊存儲到SAN中。

  此種架構(gòu)接入高清前端路數(shù)相對節(jié)點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。對于IPSAN而言,雖然在ISCSI環(huán)節(jié)數(shù)據(jù)并發(fā)讀寫傳輸速率有所消耗,但其憑借擴展性良好、硬件平臺通用、海量數(shù)據(jù)可充分共享等優(yōu)點,仍然得到很多客戶的青睞。FCSAN在行業(yè)用戶、封閉存儲系統(tǒng)中應用較多,比如縣級或地級市高清監(jiān)控項目,大數(shù)據(jù)量的并發(fā)讀寫對千兆網(wǎng)絡交換提出了較大的挑戰(zhàn),但應用FCSAN構(gòu)建相對獨立的存儲子系統(tǒng),可以有效解決上述問題。

  面對視頻監(jiān)控系統(tǒng)大文件、隨機讀寫的特點,平臺SAN架構(gòu)系統(tǒng)不同存儲單元之間的數(shù)據(jù)共享冗余方面還有待提高;從高性能服務器轉(zhuǎn)發(fā)視頻數(shù)據(jù)到存儲空間的策略,從系統(tǒng)架構(gòu)而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬件數(shù)據(jù)并發(fā)性能、接入前端數(shù)據(jù)較少。上述問題催生了平臺NVR架構(gòu)解決方案。

  該方案在系統(tǒng)架構(gòu)上省去了存儲服務器,消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統(tǒng)的寫入和檢索速度;同時也徹底消除了傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡的不穩(wěn)定帶來的文件系統(tǒng)損壞等問題。

  平臺NVR中存儲的數(shù)據(jù)可同時供多個客戶端隨時查詢,點播,當用戶需要查看多個已保存的視頻監(jiān)控數(shù)據(jù)時,可通過授權的視頻監(jiān)控客戶端直接查詢并點播相應位置的視頻監(jiān)控數(shù)據(jù)進行歷史圖像的查看。由于數(shù)據(jù)管理服務器具有監(jiān)控系統(tǒng)所有監(jiān)控點的錄像文件的索引,因此通過平臺CMS授權,視頻監(jiān)控客戶端可以查詢并點播整個監(jiān)控系統(tǒng)上所有監(jiān)控點的數(shù)據(jù),這個過程對用戶而言也是透明的。

  (3)基于云技術的存儲方案

  當前,安防行業(yè)可謂“云”山“物”罩。隨著視頻監(jiān)控的高清化和網(wǎng)絡化,存儲和管理的視頻數(shù)據(jù)量已有海量之勢,云存儲技術是突破IP高清監(jiān)控存儲瓶頸的重要手段。云存儲作為一種服務,在未來安防監(jiān)控行業(yè)有著客觀的應用前景。

  與傳統(tǒng)存儲設備不同,云存儲不僅是一個硬件,而是一個由網(wǎng)絡設備、存儲設備、服務器、軟件、接入網(wǎng)絡、用戶訪問接口以及客戶端程序等多個部分構(gòu)成的復雜系統(tǒng)。該系統(tǒng)以存儲設備為核心,通過應用層軟件對外提供數(shù)據(jù)存儲和業(yè)務服務。

  一般分為存儲層、基礎管理層、應用接口層以及訪問層。存儲層是云存儲系統(tǒng)的基礎,由存儲設備(滿足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等)構(gòu)成。基礎管理層是云存儲系統(tǒng)的核心,其擔負著存儲設備間協(xié)同工作,數(shù)據(jù)加密,分發(fā)以及容災備份等工作。應用接口層是系統(tǒng)中根據(jù)用戶需求來開發(fā)的部分,根據(jù)不同的業(yè)務類型,可以開發(fā)出不同的應用服務接口。訪問層指授權用戶通過應用接口來登錄、享受云服務。其主要優(yōu)勢在于:硬件冗余、節(jié)能環(huán)保、系統(tǒng)升級不會影響存儲服務、海量并行擴容、強大的負載均衡功能、統(tǒng)一管理、統(tǒng)一向外提供服務,管理效率高,云存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手,針對監(jiān)控應用進行了優(yōu)化設計。數(shù)據(jù)傳輸可采用流方式,底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu),大幅提高了系統(tǒng)性能。

  高清監(jiān)控存儲是一種大碼流多并發(fā)寫為主的存儲應用,對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法,把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問,解決了硬盤磁頭因頻繁尋道而導致的性能迅速下降和硬盤壽命縮短的問題。

針對系統(tǒng)中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù),存儲設備的數(shù)量達數(shù)十臺上百臺,因此管理方式的科學高效顯得十分重要。云存儲可提供基于集群管理技術的多設備集中管理工具,具有設備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警,圖像化系統(tǒng)檢測等功能。在海量視頻存儲檢索應用中,檢索性能尤為重要。傳統(tǒng)文件系統(tǒng)中,文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟,在海量數(shù)據(jù)的高清視頻監(jiān)控,目錄和文件數(shù)量十分可觀,這種檢索模式的效率就會大打折扣。采用序號文件定位可以有效解決該問題。

  云存儲可以提供非常高的的系統(tǒng)冗余和安全性。當在線存儲系統(tǒng)出現(xiàn)故障后,熱備機可以立即接替服務,當故障恢復時,服務和數(shù)據(jù)回遷;若故障機數(shù)據(jù)需要調(diào)用,可以將故障機的磁盤插入到冷備機中,實現(xiàn)所有數(shù)據(jù)的立即可用。

  對于高清監(jiān)控系統(tǒng),隨著監(jiān)控前端的增加和存儲時間的延長,擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。

  云存儲系統(tǒng)除上述優(yōu)點之外,在平臺對接整合、業(yè)務流程梳理、視頻數(shù)據(jù)智能分析深度挖掘及成本方面都將面臨挑戰(zhàn)。承建大型系統(tǒng)、構(gòu)建云存儲的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網(wǎng)絡、web2.0技術、應用存儲技術、文件系統(tǒng)、P2P、數(shù)據(jù)壓縮、CDN技術、虛擬化技術等的發(fā)展,未來云存儲還有很長的路要走。

審核編輯(
王靜
)
投訴建議

提交

查看更多評論
其他資訊

查看更多

派拓網(wǎng)絡被Forrester評為XDR領域領導者

智能工控,存儲強基 | ??低晭砭手黝}演講

展會|Lubeworks路博流體供料系統(tǒng)精彩亮相AMTS展會

中國聯(lián)通首個量子通信產(chǎn)品“量子密信”亮相!

國家重大裝備企業(yè)齊聚高交會 中國科技第一展11月深圳舉行