當前位置:首頁 > 芯聞號 > 熱點文章推薦(一)
[導讀]存儲,是各大電子設備不可缺少的組成之一。缺少存儲,數據將無法得以保存。上篇文章中,小編對塊存儲以及文件存儲做過初步介紹。本文中,將繼續對兩種存儲方式予以介紹。

存儲,是各大電子設備不可缺少的組成之一。缺少存儲,數據將無法得以保存。上篇文章中,小編對塊存儲以及文件存儲做過初步介紹。本文中,將繼續對兩種存儲方式予以介紹。如果你對存儲具有興趣,不妨繼續往下閲讀哦。

一、GlusterFS 和對象存儲

GlusterFS是目前做得最好的分佈式存儲系統之一,而且已經開始商業化運行。但是,目前GlusterFS3.2.5版本還不支持對象存儲。如果要實現海量存儲,那麼GlusterFS需要用對象存儲。值得高興的是,GlusterFS最近宣佈要支持對象存儲。它使用openstack的對象存儲系統swift的上層PUT、GET等接口,支持對象存儲。

20世紀電子與信息技術迅速發展,機器計算迅速普及,馮·諾依曼在1945年6月30日,提出了存儲程序邏輯架構,即現有的計算機都遵循的“馮·諾依曼體系架構。

馮諾依曼體系結構與人腦(生物)計算模型匹配度相當準確。我們通常把運算器和控制器合併成中央處理器(CPU),內部小容量的存儲提供快速的訪問,外部存儲器提供大容量的存儲空間。在不同的計算機時代,我們可以按照不同的角度來理解馮諾依曼體系結構。在單機計算時代(包括大型機、小型機、微機)內部存儲器可理解為內存(即Memory),外部存儲器可理解為物理硬盤(包括本地硬盤和通過網絡映射的邏輯卷)。在本地硬盤空間不足,可靠性無法滿足業務需求的情況下,SAN存儲出現了,通過網絡映射的邏輯卷(即SAN存儲提供的LUN)成為增強版的硬盤。為了解決數據共享的問題,NAS存儲隨之誕生。

但馮諾依曼體系架構沒有考慮並行計算和數據共享情形,在如今的網絡時代,大量計算設備通過網絡形成一個龐大、相互獨立但又邏輯統一的計算系統,因此我們可以總結出一個數據存儲的通用模型,這個模型包括兩級存儲,其存儲容量差距約1000倍:

如果將上圖中每一個計算模塊理解為一個計算內核,那麼高速存儲單元則是CPU內的緩存(單位為KB~MB),海量存儲單元則是內存(單位為GB);如果把每一個計算模塊理解為一個CPU,那麼高速存儲單元則是內存(單位為GB~TB),海量存儲是物理硬盤或通過網絡映射給服務器的邏輯卷(或網絡文件系統,單位為TB~PB);如果把計算模塊理解為針對某一項任務或某一組任務提供計算能力的服務器集羣,把SAN或NAS等擁有TB~PB級存儲規模的網絡存儲設備理解為高速存儲單元,那麼具備PB~EB級存儲容量的海量存儲單元將基於什麼技術和產品構建呢?

SAN和NAS技術已經出現了數十年,目前單台SAN或NAS設備最大容量已經達到PB級別,但在應對EB級數據挑戰時,還是顯得有些力不從心。這主要由於其架構和服務接口決定的。

SAN使用SCSI協議作為底層協議,SCSI協議管理的粒度非常小,通常以字節(byte)或千字節(KB)為單位;同時SCSI協議沒有提供讀寫鎖機制以確保不同應用併發讀寫時的數據一致性,因此難以實現EB級存儲資源管理和多個服務器/服務器集羣之間數據共享。

NAS使用文件協議訪問數據,通過文件協議存儲設備能夠準確識別數據內容,並提供了非常豐富的文件訪問接口,包括複雜的目錄/文件的讀寫鎖。文件和目錄採用樹形結構管理,每個節點使用一種叫做inode的結構進行管理,每一個目錄和文件都對應一個iNode。目錄深度或同一目錄下的子節點數隨着整體文件數量的增加而快速增加,通常文件數量超過億級時,文件系統複雜的鎖機制及頻繁的元數據訪問將極大降低系統的整體性能。

傳統的RAID技術和Scale-up架構也阻止了傳統的SAN和NAS成為EB級高可用,高性能的海量存儲單元。傳統的RAID基於硬盤,通常一個RAID組最多包含20+塊硬盤,即使PB級規模的SAN或NAS也將被分割成多個存儲孤島,增加了EB級規模應用場景下的管理複雜度;同時Scale-up架構決定了即使SAN和NAS存儲容量達到EB級,性能也將成為木桶的短板。

那麼如何才能應對信息爆炸時代的數據洪流呢?我們設想能否有一種“超級數據圖書館”,它提供海量的、可共享的存儲空間給很多用户(服務器/服務器集羣)使用,提供超大的存儲容量,其存儲容量規模千倍於當前的高速存儲單元(SAN和NAS),用户或應用訪問數據時無需知道圖書館對這些書如何擺放和管理(佈局管理),只需要提供唯一編號(ID)就可以獲取到這本書的內容(數據)。如果某一本書變得老舊殘破,系統自動地將即將失效或已經失效的書頁(存儲介質)上的數據抄寫(恢復/重構)到新的紙張(存儲介質)上,並重新裝訂這本書,數據使用者無需關注這一過程,只是根據需要去獲取數據資源。這種“超級數據圖書館”是否真的存在呢?

二、分佈式對象存儲的誕生

對象存儲技術的出現和大量自動化管理技術的產生,使得“超級數據圖書館”不再是人類遙不可及的夢想。對象存儲系統(Object-Based Storage System)改進了SAN和NAS存儲的劣勢,保留了NAS的數據共享等優勢,通過高級的抽象接口替代了SCSI存儲塊和文件訪問接口(不同地區的用户訪問不同的POSIX文件系統,不僅浪費時間,而且讓運維管理變的更復雜。相對而言,分佈式存儲系統的優勢明顯。在分佈式存儲系統上做應用開發更便利,易維護和擴容,自動負載平衡。以 RESTful HTTP接口代替了POSIX接口和QEMU Driver接口),屏蔽了存儲底層的實現細節,將NAS垂直的樹形結構改變成平等的扁平結構,從而提高了擴展性、增強了可靠性、具備了平台無關性等重要存儲特性。(Erasure Code: 是將文件轉換成一個碎片集合,每一個碎片很小,碎片被打散分佈到一組服務器資源池裏。只要存留的碎片數量足夠,就可以合成為原本的文件。這可以在保持原本的數據健壯性的基礎上大大減少需要的存儲空間。不過Erasure Code並非適應所有的場景,尤其不適合網絡延遲敏感的業務( 不過Erasure Code並非適應所有的場景,尤其不適合網絡延遲敏感的業務))

SNIA(網絡存儲工業協會)定義的對象存儲設備是這樣的:

對象是自完備的,包含元數據、數據和屬性

存儲設備可以自行決定對象的具體存儲位置和數據的分佈

存儲設備可以對不同的對象提供不同的QoS

對象存儲設備相對於塊設備有更高的“智能”,上層通過對象ID來訪問對象,而無需瞭解對象的具體空間分佈情況

換句話説對象存儲是智能化、封裝得更好的塊,是“文件”或其他應用級邏輯結構的組成部分,文件與對象的對應關係由上層直接控制,對象存儲設備本身也可能是個分佈式的系統——這就是分佈式對象存儲系統了。

用對象替代傳統的塊的好處在於對象的內容本身來自應用,其具有內在的聯繫,具有“原子性”,因此可以做到:

在存儲層進行更智能的空間管理

內容相關的數據預取和緩存

可靠的多用户共享訪問

對象級別的安全性

同時,對象存儲架構還具有更好的可伸縮性。一個對象除了ID和用户數據外,還包含了屬主、時間、大小、位置等源數據信息,權限等預定義屬性,乃至很多自定義屬性。

具備EB級規模擴展性的分佈式對象存儲,通過對應用提供統一的命名空間,構建EB級統一、可共享數據的存儲資源池,有效地填補上述通用計算模型中“網絡計算”場景海量存儲單元空白,通過高層次的數據模型抽象,可以簡化應用對數據訪問,同時使得海量存儲更加智能。

對象是數據和自描述信息的集合,是在磁盤上存儲的基本單元。對象存儲通過簡化數據的組織形式(如將樹形的“目錄”和“文件”替換為扁平化的“ID”與“對象”)、降低協議與接口的複雜度(如簡化複雜的鎖機制,確保最終一致性),從而提高系統的擴展性以應對信息爆炸時代海量數據的挑戰。同時對象的智能自管理功能也能有效降低系統維護複雜度,幫助用户降低整體擁有成本(TCO)。

以上便是此次小編帶來的“存儲”相關內容,通過本文,希望大家對上述知識具備一定的瞭解。如果你喜歡本文,不妨持續關注我們網站哦,小編將於後期帶來更多精彩內容。最後,十分感謝大家的閲讀,have a nice day!

換一批

延伸閲讀

[富士通] 解除車企高質量發展“後顧之憂”,打造車載電子系統創新存儲解決方案

解除車企高質量發展“後顧之憂”,打造車載電子系統創新存儲解決方案

前不久,國務院辦公廳印發《新能源汽車產業發展規劃(2021-2035年)》明確了對新能源汽車產業鏈多領域的鼓勵支持,展示出一個非常積極的信號:此後國內新能源汽車的發展方向將覆蓋全產業鏈、全場景並向能源的多元化發展。可以説,新能源汽車既是...

關鍵字: 車載電子系統 存儲 新能源汽車

[熱點文章推薦(一)] 你瞭解GPU服務器嗎?GPU服務器有何不同之處?

你瞭解GPU服務器嗎?GPU服務器有何不同之處?

眾所周知,GPU是圖形處理器,在很多任務中,GPU佔據着重要作用,如深度學習領域。為增進大家對GPU的瞭解,本文將對GPU服務器加以介紹,並對GPU的工作原理予以探討。如果你對GPU和GPU的相關知識具有興趣,不妨和小編繼續往下閲讀哦。...

關鍵字: 服務器 GPU 指數

[熱點文章推薦(一)] GPU和CPU有什麼區別?大佬帶你瞭解GPU的那些事

GPU和CPU有什麼區別?大佬帶你瞭解GPU的那些事

對於GPU,大家想必也十分熟悉。但是,大家真的瞭解GPU嗎?譬如,GPU和顯卡是同一個東西嗎?CPU和GPU有什麼區別嗎?在本文中,小編將對這兩個問題加以介紹。如果GPU是您正在瞭解的知識,本文將是很好的入門素材哦,不妨和小編共同往下閲...

關鍵字: CPU GPU 指數

[熱點文章推薦(一)] 你瞭解GPU嗎?GPU原理+渲染流程介紹

你瞭解GPU嗎?GPU原理+渲染流程介紹

GPU是每台電腦不可缺少的組件,缺少GPU,我們的筆記本將無法正常顯示圖像。即便我們每天都在運用GPU,但是大家真的瞭解GPU的原理嗎?瞭解GPU渲染流程嗎?如果你對GPU以及GPU相關知識具有興趣,不妨繼續往下閲讀哦。...

關鍵字: 原理 GPU 指數

[熱點文章推薦(一)] 微控電機為何物?什麼又是滿盤電機

微控電機為何物?什麼又是滿盤電機

在往期的文章中,小編對伺服電機、力矩電機、變頻電機均有所介紹。但是,你知道電機依據功能還有其它類型嗎?為增進大家對電機的認識程度,本文將對微控電機以及滿盤電機予以介紹。如果你對電機抑或本文即將介紹的兩種電機具有興趣,不妨繼續往下閲讀哦。...

關鍵字: 電機 指數 微控電機

技術子站

關閉