Giải pháp cho hiện tượng “Micro Burst” trong kịch bản ứng dụng thu thập lưu lượng mạng Bypass

Trong kịch bản ứng dụng NPB điển hình, vấn đề gây khó khăn nhất cho các quản trị viên là mất gói dữ liệu do tắc nghẽn các gói dữ liệu được sao chép và mạng NPB. Mất gói dữ liệu trong NPB có thể gây ra các triệu chứng điển hình sau đây trong các công cụ phân tích phía máy chủ:

- Cảnh báo sẽ được tạo ra khi chỉ số giám sát hiệu suất dịch vụ APM giảm và tỷ lệ giao dịch thành công giảm.

- Cảnh báo ngoại lệ của chỉ báo giám sát hiệu suất mạng NPM được tạo ra.

- Hệ thống giám sát an ninh không phát hiện được các cuộc tấn công mạng do bỏ sót sự kiện.

- Các sự kiện kiểm toán hành vi dịch vụ bị mất do hệ thống kiểm toán dịch vụ tạo ra.

... ...

Là một hệ thống thu thập và phân phối tập trung để giám sát Bypass, tầm quan trọng của NPB là điều hiển nhiên. Đồng thời, cách thức xử lý lưu lượng gói dữ liệu của nó khá khác biệt so với bộ chuyển mạch mạng trực tiếp truyền thống, và công nghệ kiểm soát tắc nghẽn lưu lượng của nhiều mạng trực tiếp dịch vụ không thể áp dụng cho NPB. Làm thế nào để giải quyết tình trạng mất gói dữ liệu NPB, hãy bắt đầu từ việc phân tích nguyên nhân gốc rễ của hiện tượng mất gói dữ liệu để xem xét!

Phân tích nguyên nhân gốc rễ của tắc nghẽn mất gói NPB/TAP

Trước hết, chúng ta phân tích đường dẫn lưu lượng thực tế và mối quan hệ ánh xạ giữa hệ thống và lưu lượng vào/ra của mạng cấp 1 hoặc mạng NPB. Bất kể cấu trúc mạng NPB hình thành như thế nào, với tư cách là một hệ thống tập hợp, luôn tồn tại mối quan hệ nhiều-nhiều giữa lưu lượng vào và ra giữa "truy cập" và "đầu ra" của toàn hệ thống.

Vụ nổ nhỏ 1

Tiếp theo, chúng ta sẽ xem xét mô hình kinh doanh của NPB từ góc độ chip ASIC trên một thiết bị duy nhất:

Vụ nổ nhỏ 2

Tính năng 1: "Lưu lượng" và "tốc độ giao diện vật lý" của các giao diện đầu vào và đầu ra không đối xứng, dẫn đến việc xuất hiện nhiều xung đột nhỏ là điều không thể tránh khỏi. Trong các kịch bản tổng hợp lưu lượng nhiều-đến-một hoặc nhiều-đến-nhiều điển hình, tốc độ vật lý của giao diện đầu ra thường nhỏ hơn tổng tốc độ vật lý của giao diện đầu vào. Ví dụ: 10 kênh thu thập 10G và 1 kênh đầu ra 10G; Trong kịch bản triển khai đa cấp, tất cả các NPBBS có thể được xem như một tổng thể.

Tính năng 2Tài nguyên bộ nhớ đệm của chip ASIC rất hạn chế. Xét về các chip ASIC thông dụng hiện nay, chip có dung lượng trao đổi 640Gbps có bộ nhớ đệm từ 3-10Mbytes; chip có dung lượng 3.2Tbps có bộ nhớ đệm từ 20-50 mbytes. Bao gồm các nhà sản xuất chip ASIC như BroadCom, Barefoot, CTC, Marvell và các hãng khác.

Tính năng 3Cơ chế điều khiển luồng PFC đầu cuối thông thường không áp dụng được cho các dịch vụ NPB. Cốt lõi của cơ chế điều khiển luồng PFC là đạt được phản hồi triệt tiêu lưu lượng đầu cuối, và cuối cùng là giảm việc gửi gói tin đến ngăn xếp giao thức của điểm cuối truyền thông để giảm tắc nghẽn. Tuy nhiên, nguồn gói tin của các dịch vụ NPB là các gói tin được sao chép, do đó chiến lược xử lý tắc nghẽn chỉ có thể là loại bỏ hoặc lưu vào bộ nhớ đệm.

Dưới đây là hình ảnh điển hình của hiện tượng vi xung trên đường cong lưu lượng:

Micro Burst 3

Lấy giao diện 10G làm ví dụ, trong biểu đồ phân tích xu hướng lưu lượng cấp hai, tốc độ lưu lượng được duy trì ở mức khoảng 3Gbps trong thời gian dài. Trên biểu đồ phân tích xu hướng micro mili giây, lưu lượng đột biến (MicroBurst) đã vượt xa tốc độ vật lý của giao diện 10G.

Các kỹ thuật chính để giảm thiểu hiện tượng gió giật mạnh cục bộ (microburst) ở NPB.

Giảm thiểu tác động của sự không khớp tốc độ giao diện vật lý bất đối xứng- Khi thiết kế mạng, hãy giảm thiểu tối đa sự không đối xứng về tốc độ giao diện vật lý đầu vào và đầu ra. Một phương pháp điển hình là sử dụng liên kết giao diện đường lên có tốc độ cao hơn và tránh sự không đối xứng về tốc độ giao diện vật lý (ví dụ: sao chép đồng thời lưu lượng 1 Gbit/s và 10 Gbit/s).

Tối ưu hóa chính sách quản lý bộ nhớ đệm của dịch vụ NPB.- Chính sách quản lý bộ nhớ đệm thông thường áp dụng cho dịch vụ chuyển mạch không áp dụng cho dịch vụ chuyển tiếp của dịch vụ NPB. Chính sách quản lý bộ nhớ đệm đảm bảo tĩnh + chia sẻ động cần được triển khai dựa trên các đặc điểm của dịch vụ NPB. Nhằm giảm thiểu tác động của hiện tượng xung đột dữ liệu NPB trong điều kiện hạn chế của môi trường phần cứng chip hiện tại.

Thực hiện quản lý kỹ thuật giao thông được phân loại- Triển khai quản lý phân loại dịch vụ kỹ thuật lưu lượng ưu tiên dựa trên phân loại lưu lượng. Đảm bảo chất lượng dịch vụ của các hàng đợi ưu tiên khác nhau dựa trên băng thông hàng đợi theo loại, và đảm bảo các gói lưu lượng dịch vụ nhạy cảm của người dùng có thể được chuyển tiếp mà không bị mất gói.

Một giải pháp hệ thống hợp lý sẽ tăng cường khả năng lưu trữ gói dữ liệu và khả năng định hình lưu lượng.- Tích hợp giải pháp thông qua nhiều phương tiện kỹ thuật khác nhau để mở rộng khả năng lưu trữ gói dữ liệu của chip ASIC. Bằng cách định hình luồng dữ liệu tại các vị trí khác nhau, luồng dữ liệu vi mô sẽ trở thành đường cong luồng dữ liệu đồng nhất sau khi định hình.

Giải pháp quản lý lưu lượng truy cập siêu tốc Mylinking™

Phương án 1 - Chiến lược quản lý bộ nhớ đệm tối ưu hóa mạng + quản lý ưu tiên chất lượng dịch vụ phân loại trên toàn mạng

Chiến lược quản lý bộ nhớ đệm được tối ưu hóa cho toàn bộ mạng.

Dựa trên sự hiểu biết sâu sắc về đặc điểm dịch vụ NPB và các kịch bản kinh doanh thực tế của một lượng lớn khách hàng, các sản phẩm thu thập lưu lượng Mylinking™ triển khai một bộ chiến lược quản lý bộ nhớ đệm NPB "đảm bảo tĩnh + chia sẻ động" cho toàn bộ mạng, mang lại hiệu quả tốt trong việc quản lý bộ nhớ đệm lưu lượng khi có nhiều giao diện đầu vào và đầu ra không đối xứng. Khả năng chịu đựng hiện tượng xung đột lưu lượng nhỏ được hiện thực hóa ở mức tối đa khi bộ nhớ đệm của chip ASIC hiện tại được cố định.

Công nghệ xử lý xung đột nhỏ - Quản lý dựa trên các ưu tiên kinh doanh

Micro Burst 4

Khi bộ phận thu thập lưu lượng được triển khai độc lập, nó cũng có thể được ưu tiên dựa trên tầm quan trọng của công cụ phân tích phía máy chủ hoặc tầm quan trọng của dữ liệu dịch vụ. Ví dụ, trong số nhiều công cụ phân tích, APM/BPC có mức độ ưu tiên cao hơn các công cụ phân tích/giám sát bảo mật vì nó liên quan đến việc giám sát và phân tích các dữ liệu chỉ báo khác nhau của các hệ thống nghiệp vụ quan trọng. Do đó, trong trường hợp này, dữ liệu cần thiết cho APM/BPC có thể được định nghĩa là ưu tiên cao, dữ liệu cần thiết cho các công cụ giám sát/phân tích bảo mật có thể được định nghĩa là ưu tiên trung bình, và dữ liệu cần thiết cho các công cụ phân tích khác có thể được định nghĩa là ưu tiên thấp. Khi các gói dữ liệu được thu thập đi vào cổng đầu vào, mức độ ưu tiên được xác định theo tầm quan trọng của các gói. Các gói có mức độ ưu tiên cao hơn sẽ được ưu tiên chuyển tiếp sau các gói có mức độ ưu tiên cao hơn, và các gói có mức độ ưu tiên khác sẽ được chuyển tiếp sau các gói có mức độ ưu tiên cao hơn. Nếu các gói có mức độ ưu tiên cao hơn tiếp tục đến, các gói có mức độ ưu tiên cao hơn sẽ được ưu tiên chuyển tiếp. Nếu dữ liệu đầu vào vượt quá khả năng chuyển tiếp của cổng đầu ra trong một thời gian dài, dữ liệu dư thừa sẽ được lưu trữ trong bộ nhớ cache của thiết bị. Nếu bộ nhớ đệm đầy, thiết bị sẽ ưu tiên loại bỏ các gói dữ liệu có thứ tự thấp hơn. Cơ chế quản lý ưu tiên này đảm bảo các công cụ phân tích quan trọng có thể thu thập dữ liệu lưu lượng gốc cần thiết cho việc phân tích trong thời gian thực một cách hiệu quả.

Công nghệ xử lý xung đột vi mô - cơ chế đảm bảo phân loại chất lượng dịch vụ mạng toàn diện.

Micro Burst 5

Như hình trên cho thấy, công nghệ phân loại lưu lượng được sử dụng để phân biệt các dịch vụ khác nhau trên tất cả các thiết bị ở lớp truy cập, lớp tổng hợp/lõi và lớp đầu ra, và mức độ ưu tiên của các gói tin được thu thập sẽ được đánh dấu lại. Bộ điều khiển SDN cung cấp chính sách ưu tiên lưu lượng một cách tập trung và áp dụng nó cho các thiết bị chuyển tiếp. Tất cả các thiết bị tham gia vào mạng được ánh xạ đến các hàng đợi ưu tiên khác nhau theo mức độ ưu tiên mà các gói tin mang theo. Bằng cách này, các gói tin ưu tiên cao có lưu lượng nhỏ có thể đạt được mức độ mất gói bằng không. Điều này giải quyết hiệu quả vấn đề mất gói của việc giám sát APM và các dịch vụ kiểm toán đặc biệt bỏ qua lưu lượng truy cập.

Giải pháp 2 - Bộ nhớ đệm hệ thống mở rộng cấp GB + Sơ đồ định hình lưu lượng
Bộ nhớ đệm mở rộng hệ thống cấp GB
Khi thiết bị thu thập lưu lượng của chúng tôi có khả năng xử lý chức năng tiên tiến, nó có thể giải phóng một lượng không gian nhất định trong bộ nhớ (RAM) của thiết bị làm bộ đệm toàn cục, giúp cải thiện đáng kể dung lượng bộ đệm của thiết bị. Đối với một thiết bị thu thập đơn lẻ, ít nhất có thể cung cấp dung lượng GB làm không gian bộ nhớ đệm. Công nghệ này giúp dung lượng bộ đệm của thiết bị thu thập lưu lượng của chúng tôi cao hơn hàng trăm lần so với thiết bị thu thập truyền thống. Với cùng tốc độ chuyển tiếp, thời gian xung đột nhỏ tối đa của thiết bị thu thập lưu lượng của chúng tôi trở nên dài hơn. Mức mili giây được hỗ trợ bởi thiết bị thu thập truyền thống đã được nâng cấp lên cấp độ hai, và thời gian xung đột nhỏ có thể chịu được đã tăng lên hàng nghìn lần.

Khả năng định hình lưu lượng đa hàng đợi

Công nghệ xử lý xung đột nhỏ (Microburst Processing Technology) - một giải pháp dựa trên bộ nhớ đệm lớn kết hợp với định hình lưu lượng truy cập.

Micro Burst 6

Với dung lượng bộ đệm siêu lớn, dữ liệu lưu lượng được tạo ra bởi các xung đột nhỏ sẽ được lưu vào bộ nhớ đệm, và công nghệ định hình lưu lượng được sử dụng ở giao diện đầu ra để đạt được việc xuất gói tin mượt mà đến công cụ phân tích. Thông qua việc ứng dụng công nghệ này, hiện tượng mất gói tin do xung đột nhỏ gây ra được giải quyết triệt để.


Thời gian đăng bài: 27/02/2024