Chống trùng lặp dữ liệu là một công nghệ lưu trữ phổ biến và phổ biến giúp tối ưu hóa dung lượng lưu trữ. Nó loại bỏ dữ liệu dư thừa bằng cách loại bỏ dữ liệu trùng lặp khỏi tập dữ liệu, chỉ để lại một bản sao. Như minh họa trong hình bên dưới. Công nghệ này có thể làm giảm đáng kể nhu cầu lưu trữ vật lý không gian đáp ứng nhu cầu lưu trữ dữ liệu ngày càng tăng. Công nghệ Dedupe có thể mang lại nhiều lợi ích thiết thực, chủ yếu bao gồm các khía cạnh sau:
| (1) | Đáp ứng các yêu cầu về ROI (Lợi tức đầu tư)/TCO (Tổng chi phí sở hữu); |
| (2) | Sự tăng trưởng nhanh chóng của dữ liệu có thể được kiểm soát một cách hiệu quả; |
| (3) | Tăng không gian lưu trữ hiệu quả và nâng cao hiệu quả lưu trữ; |
| (4) | Tiết kiệm tổng chi phí lưu trữ và chi phí quản lý; |
| (5) | Tiết kiệm băng thông mạng truyền dữ liệu; |
| (6) | Tiết kiệm chi phí vận hành và bảo trì như không gian, nguồn điện và làm mát. |
Công nghệ Dedupe được sử dụng rộng rãi trong các hệ thống lưu trữ và sao lưu dữ liệu, vì có rất nhiều dữ liệu trùng lặp sau nhiều lần sao lưu dữ liệu, điều này rất phù hợp với công nghệ này. Trên thực tế, công nghệ dedupe có thể được sử dụng trong nhiều tình huống, bao gồm cả dữ liệu trực tuyến, dữ liệu gần tuyến và hệ thống lưu trữ dữ liệu ngoại tuyến.Nó có thể được triển khai trong hệ thống tệp, trình quản lý âm lượng, NAS và sans. Dedupe cũng có thể được sử dụng để khắc phục thảm họa dữ liệu, truyền và đồng bộ hóa dữ liệu, vì công nghệ nén dữ liệu có thể được sử dụng để đóng gói dữ liệu. Công nghệ Dedupe có thể giúp nhiều ứng dụng giảm bớt lưu trữ dữ liệu, tiết kiệm băng thông mạng, nâng cao hiệu quả lưu trữ, giảm cửa sổ sao lưu và tiết kiệm chi phí.
Loại bỏ trùng lặp có hai khía cạnh chính: tỷ lệ loại bỏ trùng lặp và hiệu suất. Hiệu suất loại bỏ trùng lặp phụ thuộc vào công nghệ triển khai cụ thể, trong khi tỷ lệ loại bỏ trùng lặp được xác định bởi các đặc điểm của chính dữ liệu và các mẫu ứng dụng, như được hiển thị trong bảng bên dưới. Các nhà cung cấp bộ lưu trữ hiện báo cáo tỷ lệ loại bỏ trùng lặp khác nhau. từ 20:1 đến 500:1.
| Tỷ lệ trùng lặp cao | Tỷ lệ trùng lặp thấp |
| Dữ liệu do người dùng tạo | Dữ liệu từ thế giới tự nhiên |
| Tốc độ thay đổi dữ liệu thấp | Tốc độ thay đổi dữ liệu cao |
| Dữ liệu tham khảo, dữ liệu không hoạt động | Dữ liệu hoạt động |
| Ứng dụng tốc độ thay đổi dữ liệu thấp | Ứng dụng tốc độ thay đổi dữ liệu cao |
| Sao lưu dữ liệu đầy đủ | Sao lưu dữ liệu gia tăng |
| Dữ liệu lưu trữ lâu dài | Lưu trữ dữ liệu ngắn hạn |
| Nhiều ứng dụng dữ liệu | Phạm vi ứng dụng dữ liệu nhỏ |
| Xử lý dữ liệu kinh doanh liên tục | Xử lý dữ liệu chung |
| Phân đoạn dữ liệu nhỏ | Phân đoạn dữ liệu lớn |
| Kéo dài phân đoạn dữ liệu | Phân đoạn dữ liệu có độ dài cố định |
| Nội dung dữ liệu được cảm nhận | Nội dung dữ liệu không xác định |
| Chống trùng lặp dữ liệu thời gian | Chống trùng lặp dữ liệu không gian |
Khấu trừ điểm thực hiện
Cần xem xét nhiều yếu tố khác nhau khi phát triển hoặc áp dụng công nghệ Dedupe, vì những yếu tố này ảnh hưởng trực tiếp đến hiệu suất và hiệu quả của nó.
| (1) | Cái gì | Dữ liệu nào được giảm trọng số? |
| (2) | Khi | Khi nào trọng lượng sẽ được loại bỏ? |
| (3) | Ở đâu | Giảm cân ở đâu? |
| (4) | Làm sao | Làm thế nào để giảm cân? |
Công nghệ khóa Dedupe
Quá trình chống trùng lặp của hệ thống lưu trữ nói chung là như sau: trước hết tệp dữ liệu được chia thành một tập dữ liệu, cho mỗi khối dữ liệu để tính toán dấu vân tay, sau đó dựa trên dấu vân tay Hash từ khóa tìm kiếm, so khớp cho biết dữ liệu trùng lặp khối dữ liệu, chỉ lưu trữ số chỉ mục khối dữ liệu, nếu không, điều đó có nghĩa là khối dữ liệu là phần duy nhất của khối dữ liệu mới, lưu trữ và tạo thông tin meta có liên quan. Do đó, một tệp vật lý trong hệ thống lưu trữ tương ứng với một biểu diễn logic của một bộ siêu dữ liệu FP. Khi đọc tệp, trước tiên hãy đọc tệp logic, sau đó theo trình tự FP, lấy khối dữ liệu tương ứng ra khỏi hệ thống lưu trữ, khôi phục bản sao của tệp vật lý. Có thể thấy từ quy trình trên rằng các công nghệ chính của Dedupe chủ yếu bao gồm phân đoạn khối dữ liệu tệp, tính toán dấu vân tay khối dữ liệu và truy xuất khối dữ liệu.
(1) Phân đoạn khối dữ liệu tệp
(2) Tính toán dấu vân tay khối dữ liệu
(3) Truy xuất khối dữ liệu
Để tìm các mô hình được đề xuất này để bắt đầu Sao chép gói mạng của bạn:
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-640048*10GE SFP+ cộng với 4*40GE/100GE QSFP28, tối đa 880Gbps
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-56606*40GE/100GE QSFP28 cộng với 48*10GE/25GE SFP28, Tối đa 1,8Tbps
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-506048*10GE SFP+ cộng với 2*40GE QSFP, tối đa 560Gbps
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-486048*10GE SFP+, Tối đa 480Gbps, Chức năng Plus
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-481048*10GE SFP+, tối đa 480Gbps
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-2410P24*10GE SFP+, Tối đa 240Gbps, Chức năng dpi
Nhà môi giới gói mạng Mylinking™(NPB) ML-NPB-6400
48*10GE SFP+ cộng với 4*40GE/100GE QSFP28, tối đa 880Gbps
Thời gian đăng: Oct-18-2022
