Data De-duplication là công nghệ lưu trữ phổ biến và thông dụng giúp tối ưu hóa dung lượng lưu trữ. Công nghệ này loại bỏ dữ liệu trùng lặp bằng cách loại bỏ dữ liệu trùng lặp khỏi tập dữ liệu, chỉ để lại một bản sao. Như thể hiện trong hình bên dưới. Công nghệ này có thể giảm đáng kể nhu cầu về không gian lưu trữ vật lý để đáp ứng nhu cầu lưu trữ dữ liệu ngày càng tăng. Công nghệ Dedupe có thể mang lại nhiều lợi ích thiết thực, chủ yếu bao gồm các khía cạnh sau:
| (1) | Đáp ứng các yêu cầu về ROI (Lợi tức đầu tư)/TCO (Tổng chi phí sở hữu); |
| (2) | Sự tăng trưởng nhanh chóng của dữ liệu có thể được kiểm soát hiệu quả; |
| (3) | Tăng không gian lưu trữ hiệu quả và cải thiện hiệu suất lưu trữ; |
| (4) | Tiết kiệm tổng chi phí lưu trữ và chi phí quản lý; |
| (5) | Tiết kiệm băng thông mạng truyền dữ liệu; |
| (6) | Tiết kiệm chi phí vận hành và bảo trì như không gian, nguồn điện và làm mát. |
Công nghệ Dedupe được sử dụng rộng rãi trong các hệ thống sao lưu và lưu trữ dữ liệu, vì có rất nhiều dữ liệu trùng lặp sau nhiều lần sao lưu dữ liệu, rất phù hợp với công nghệ này. Trên thực tế, công nghệ Dedupe có thể được sử dụng trong nhiều tình huống, bao gồm dữ liệu trực tuyến, dữ liệu gần dòng và hệ thống lưu trữ dữ liệu ngoại tuyến. Nó có thể được triển khai trong các hệ thống tệp, trình quản lý ổ đĩa, NAS và sans. Dedupe cũng có thể được sử dụng để khôi phục dữ liệu sau thảm họa, truyền dữ liệu và đồng bộ hóa, vì công nghệ nén dữ liệu có thể được sử dụng để đóng gói dữ liệu. Công nghệ Dedupe có thể giúp nhiều ứng dụng giảm dung lượng lưu trữ dữ liệu, tiết kiệm băng thông mạng, cải thiện hiệu quả lưu trữ, giảm cửa sổ sao lưu và tiết kiệm chi phí.
Dedupe có hai chiều chính: tỷ lệ dedupe và hiệu suất. Hiệu suất dedupe phụ thuộc vào công nghệ triển khai cụ thể, trong khi tỷ lệ dedupe được xác định bởi các đặc điểm của dữ liệu và mẫu ứng dụng, như thể hiện trong bảng dưới đây. Các nhà cung cấp lưu trữ hiện báo cáo tỷ lệ dedupe dao động từ 20:1 đến 500:1.
| Tỷ lệ loại bỏ trùng lặp cao | Tỷ lệ loại bỏ trùng lặp thấp |
| Dữ liệu được tạo bởi người dùng | Dữ liệu từ thế giới tự nhiên |
| Dữ liệu tỷ lệ thay đổi thấp | Dữ liệu tốc độ thay đổi cao |
| Dữ liệu tham chiếu, dữ liệu không hoạt động | Dữ liệu đang hoạt động |
| Ứng dụng tốc độ thay đổi dữ liệu thấp | Ứng dụng tốc độ thay đổi dữ liệu cao |
| Sao lưu dữ liệu đầy đủ | Sao lưu dữ liệu gia tăng |
| Lưu trữ dữ liệu dài hạn | Lưu trữ dữ liệu ngắn hạn |
| Phạm vi ứng dụng dữ liệu rộng | Phạm vi ứng dụng dữ liệu nhỏ |
| Xử lý dữ liệu kinh doanh liên tục | Xử lý dữ liệu kinh doanh chung |
| Phân đoạn dữ liệu nhỏ | Phân đoạn dữ liệu lớn |
| Phân đoạn dữ liệu kéo dài | Phân đoạn dữ liệu có độ dài cố định |
| Nội dung dữ liệu được nhận thức | Nội dung dữ liệu không rõ |
| Loại bỏ trùng lặp dữ liệu thời gian | Loại bỏ trùng lặp dữ liệu không gian |
Điểm triển khai Dedupe
Cần cân nhắc nhiều yếu tố khi phát triển hoặc áp dụng công nghệ Dedupe vì những yếu tố này ảnh hưởng trực tiếp đến hiệu suất và hiệu quả của công nghệ.
| (1) | Cái gì | Dữ liệu nào bị giảm trọng số? |
| (2) | Khi | Khi nào thì trọng lượng sẽ được loại bỏ? |
| (3) | Ở đâu | Giảm cân ở đâu? |
| (4) | Làm sao | Làm thế nào để giảm cân? |
Công nghệ khóa Dedupe
Quá trình khử trùng lặp của hệ thống lưu trữ nói chung là như sau: trước hết, tệp dữ liệu được chia thành một tập hợp dữ liệu, đối với mỗi khối dữ liệu để tính dấu vân tay, sau đó dựa trên các từ khóa tìm kiếm băm dấu vân tay, việc khớp lệnh chỉ ra dữ liệu cho các khối dữ liệu trùng lặp, chỉ lưu trữ số chỉ mục khối dữ liệu, nếu không thì có nghĩa là khối dữ liệu là phần duy nhất của khối dữ liệu mới, lưu trữ khối dữ liệu và tạo thông tin siêu dữ liệu có liên quan. Do đó, một tệp vật lý trong hệ thống lưu trữ tương ứng với biểu diễn logic của một tập hợp siêu dữ liệu FP. Khi đọc tệp, trước tiên hãy đọc tệp logic, sau đó theo trình tự FP, lấy khối dữ liệu tương ứng ra khỏi hệ thống lưu trữ, khôi phục bản sao của tệp vật lý. Có thể thấy từ quy trình trên rằng các công nghệ chính của Dedupe chủ yếu bao gồm phân đoạn khối dữ liệu tệp, tính dấu vân tay khối dữ liệu và truy xuất khối dữ liệu.
(1) Phân đoạn khối dữ liệu tệp
(2) Tính toán dấu vân tay khối dữ liệu
(3) Lấy lại khối dữ liệu
Để tìm các mô hình được đề xuất này để bắt đầu loại bỏ sự trùng lặp gói tin mạng của bạn:
Mylinking™ Network Packet Broker(NPB) ML-NPB-640048*10GE SFP+ cộng với 4*40GE/100GE QSFP28, Tối đa 880Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-56606*40GE/100GE QSFP28 cộng với 48*10GE/25GE SFP28, Tối đa 1,8Tbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-506048*10GE SFP+ cộng với 2*40GE QSFP, Tối đa 560Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-486048*10GE SFP+, Tối đa 480Gbps, Chức năng Plus
Mylinking™ Network Packet Broker(NPB) ML-NPB-481048*10GE SFP+, Tối đa 480Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Tối đa 240Gbps, Chức năng DPI
Mylinking™ Network Packet Broker(NPB) ML-NPB-6400
48*10GE SFP+ cộng với 4*40GE/100GE QSFP28, Tối đa 880Gbps
Thời gian đăng: 18-10-2022
