

新聞中心
最新文章
東莞監控安裝闡述云存儲系統難點技術解析 |
發布時間:2016-11-10 瀏覽:3837 次 |
東莞監控安裝闡述云存儲系統難點技術解析 云存儲在系統架構和設計上,充分考慮大規模集群環境下軟硬件發生故障的現實,采用先進的管理思想和軟件系統,實現對大量普通存儲服務器存儲空間資源進行虛擬化整合,實現軟硬件故障高度容錯,搭建高度穩定可靠的存儲集群。系統整體為應用提供統一命名空間,使得系統具備極好的數據共享能力。系統將負載均衡到集群內的各節點上,充分利用集群各節點性能,以獲得很好的性能聚合能力以及保證了系統的穩定。集群采用高度靈活自組網技術,提供簡易部署和維護功能,系統在數據可靠方面,采用智能冗余重建技術,保證較高磁盤利用率的前提下,提供最佳冗余策略。另外,系統在節點軟硬件故障容錯方面,也進行充分考慮,具備屏蔽所有可屏蔽錯誤能力。 快速文件索引技術 云存儲系統可以支持上億級的文件,同時還需要支持上千個用戶同時訪問。這么大規模的元數據和并發訪問量,采用傳統的內存加盟磁盤多級存儲,以及多級索引方式,尋址的開銷將非常大,直接影響到系統的可用性。為了提高系統的響應速度,云存儲一般采用粗粒度的管理方式,以64M作為典型的塊大小進行索引,大幅減少元數據的數量,即使如此,系統的元數據規模還是會達到GB級別?;谶@種情況,系統采用全內存態的元數據訪問模式,可以將文件尋址時間降到毫秒級別。 負載自動均衡技術 采用中心服務器模式來管理整個云存儲文件系統,所有元數據均保存在元數據服務器上、文件則被按塊劃分存儲在不同的數據節點上。元數據維護了統一的命名空間,同時掌握整個系統內數據節點的使用情況,當客戶端向元數據服務器發送數據讀寫的請求時,元數據服務器根據數據節點的磁盤使用情況、網絡負擔等情況,選擇負擔最輕的節點服務器對外提供服務,自動調解集群的負載狀態。數據節點內同時有提供磁盤級的負載均衡,根據磁盤的10負載,空間容量情況,自動選擇負載最輕的磁盤存儲新的數據文件。另外對故障的數據節點上的數據快速恢復,只需將數據節點上的硬盤撥出,插入到其他數據節點,這樣即減少集群對數據恢復的壓力,又不對客戶端讀寫產生影響。 高速并發訪問技術 客戶端在訪問云存儲時,首先訪問元數據服務器,獲取將要與之進行交互的數據節點信息,然后直接訪問這些數據節點完成數據存取??蛻舳伺c元數據服務器之間只有控制流,而無數據流,這樣就極大地降低了元數據服務器的負載,使之不成為系統性能的一個瓶頸。客戶端與數據節點之間直接傳輸數據流,同時由于文件被分成多個節點之間直接傳輸數據流,同時由于文件被分成多個節點進行分布式存儲,客戶端可以同時訪問多個節點服務器,從而使得整個系統的I/O高度并行,系統整體性能得到提高。通常情況下,系統的整個吞吐率與節點服務器的數據呈正比。 高可靠性保證技術 對于元數據,通過操作日志來提供容錯功能。主要服務器本地SSD盤組建高可靠RAIDI,提供高可靠容錯能力。當元數據服務器發生故障時,在磁盤數據保存完好的情況下,可以迅速恢復以上元數據。且操作日志在主備元數據服務器之間實時同步,實現更高程度的可靠性。對于節點服務器,采用Erasure Code冗余方式實現容錯,數據冗余分布存儲在不同的數據節點上。任一數據節點的損壞,不會導致任何數據丟失,不會影響任何的數據訪問和寫入過程。之后,通過靈活數據恢復機制,進行數據重建過程。集群規模越大,恢復速度越快。 以上文章來源由東莞監控安裝http://www.8888722.com創通寶科技整理提供。 |
創通寶科技致力于為客戶提供全方位的弱電智能化工程服務
電話:0769-83736568 13380121669 | 傳真:0769-22305978 | 郵箱:0769@chtonb.com