Công cụ phổ biến nhất hiện nay để giám sát và khắc phục sự cố mạng là Switch Port Analyzer (SPAN), còn được gọi là Port mirroring. Nó cho phép chúng ta giám sát lưu lượng mạng ở chế độ bypass ngoài băng tần mà không gây nhiễu các dịch vụ trên mạng đang hoạt động, và gửi một bản sao của lưu lượng được giám sát đến các thiết bị cục bộ hoặc từ xa, bao gồm Sniffer, IDS, hoặc các loại công cụ phân tích mạng khác.
Một số cách sử dụng điển hình là:
• Khắc phục sự cố mạng bằng cách theo dõi các khung điều khiển/dữ liệu;
• Phân tích độ trễ và độ rung bằng cách giám sát các gói VoIP;
• Phân tích độ trễ bằng cách giám sát tương tác mạng;
• Phát hiện các bất thường bằng cách giám sát lưu lượng mạng.
Lưu lượng SPAN có thể được sao chép cục bộ sang các cổng khác trên cùng thiết bị nguồn hoặc sao chép từ xa sang các thiết bị mạng khác liền kề với lớp 2 của thiết bị nguồn (RSPAN).
Hôm nay chúng ta sẽ nói về công nghệ giám sát lưu lượng Internet từ xa có tên gọi ERSPAN (Encapsulated Remote Switch Port Analyzer) có thể truyền tải qua ba lớp IP. Đây là phần mở rộng của SPAN sang Encapsulated Remote.
Nguyên lý hoạt động cơ bản của ERSPAN
Trước tiên, hãy cùng xem xét các tính năng của ERSPAN:
• Một bản sao của gói dữ liệu từ cổng nguồn được gửi đến máy chủ đích để phân tích thông qua giao thức Generic Routing Encapsulation (GRE). Vị trí vật lý của máy chủ không bị giới hạn.
• Nhờ tính năng Trường do người dùng định nghĩa (UDF) của chip, bất kỳ độ lệch nào từ 1 đến 126 byte đều được thực hiện dựa trên miền Cơ sở thông qua danh sách mở rộng cấp chuyên gia, và các từ khóa phiên được khớp để hiện thực hóa việc trực quan hóa phiên, chẳng hạn như quá trình bắt tay ba bước TCP và phiên RDMA;
• Hỗ trợ thiết lập tốc độ lấy mẫu;
• Hỗ trợ chặn gói dữ liệu theo độ dài (Packet Slicing), giảm áp lực lên máy chủ đích.
Với những tính năng này, bạn có thể hiểu tại sao ERSPAN là một công cụ thiết yếu để giám sát mạng bên trong các trung tâm dữ liệu hiện nay.
Các chức năng chính của ERSPAN có thể được tóm tắt trong hai khía cạnh:
• Khả năng hiển thị phiên: Sử dụng ERSPAN để thu thập tất cả các phiên TCP và Truy cập bộ nhớ trực tiếp từ xa (RDMA) mới được tạo về máy chủ phụ trợ để hiển thị;
• Khắc phục sự cố mạng: Thu thập lưu lượng mạng để phân tích lỗi khi xảy ra sự cố mạng.
Để thực hiện điều này, thiết bị mạng nguồn cần lọc ra lưu lượng truy cập mà người dùng quan tâm từ luồng dữ liệu khổng lồ, tạo bản sao và đóng gói mỗi khung sao chép vào một "khung siêu dữ liệu" đặc biệt chứa đủ thông tin bổ sung để có thể định tuyến chính xác đến thiết bị nhận. Hơn nữa, cần cho phép thiết bị nhận trích xuất và khôi phục hoàn toàn lưu lượng truy cập được giám sát ban đầu.
Thiết bị nhận có thể là một máy chủ khác hỗ trợ giải mã gói ERSPAN.
Phân tích kiểu ERSPAN và định dạng gói
Các gói tin ERSPAN được đóng gói bằng GRE và chuyển tiếp đến bất kỳ đích nào có địa chỉ IP khả dụng qua Ethernet. ERSPAN hiện chủ yếu được sử dụng trên mạng IPv4, và hỗ trợ IPv6 sẽ là yêu cầu bắt buộc trong tương lai.
Để hiểu rõ hơn về cấu trúc đóng gói tổng quát của ERSAPN, dưới đây là hình ảnh thu thập gói tin ICMP phản chiếu:
Giao thức ERSPAN đã được phát triển trong một thời gian dài, và cùng với việc nâng cao khả năng của nó, một số phiên bản đã được hình thành, được gọi là "Các loại ERSPAN". Các loại khác nhau có định dạng tiêu đề khung khác nhau.
Nó được định nghĩa trong trường Phiên bản đầu tiên của tiêu đề ERSPAN:
Ngoài ra, trường Loại giao thức trong tiêu đề GRE cũng cho biết Loại ERSPAN nội bộ. Trường Loại giao thức 0x88BE cho biết ERSPAN Loại II, và 0x22EB cho biết ERSPAN Loại III.
1. Loại I
Khung ERSPAN loại I đóng gói trực tiếp IP và GRE vào phần tiêu đề của khung phản chiếu gốc. Việc đóng gói này thêm 38 byte vào khung gốc: 14 (MAC) + 20 (IP) + 4 (GRE). Ưu điểm của định dạng này là kích thước tiêu đề nhỏ gọn và giảm chi phí truyền tải. Tuy nhiên, vì nó đặt các trường GRE Flag và Version về 0, nên nó không mang theo bất kỳ trường mở rộng nào và loại I không được sử dụng rộng rãi, do đó không cần thiết phải mở rộng thêm.
Định dạng tiêu đề GRE loại I như sau:
2. Loại II
Trong Loại II, các trường C, R, K, S, S, Recur, Flags và Version trong tiêu đề GRE đều bằng 0 ngoại trừ trường S. Do đó, trường Số thứ tự được hiển thị trong tiêu đề GRE của Loại II. Điều đó có nghĩa là Loại II có thể đảm bảo thứ tự nhận các gói GRE, do đó một lượng lớn các gói GRE không theo thứ tự sẽ không thể được sắp xếp lại do lỗi mạng.
Định dạng phần tiêu đề GRE loại II như sau:
Ngoài ra, định dạng khung ERSPAN Loại II bổ sung thêm một tiêu đề ERSPAN 8 byte giữa tiêu đề GRE và khung được phản chiếu ban đầu.
Định dạng tiêu đề ERSPAN cho Loại II như sau:
Cuối cùng, ngay sau khung hình gốc là mã kiểm tra dư tuần hoàn (CRC) Ethernet tiêu chuẩn 4 byte.
Cần lưu ý rằng trong quá trình thực hiện, khung phản chiếu không chứa trường FCS của khung gốc, thay vào đó, một giá trị CRC mới được tính toán lại dựa trên toàn bộ ERSPAN. Điều này có nghĩa là thiết bị nhận không thể xác minh tính chính xác của CRC trong khung gốc, và chúng ta chỉ có thể giả định rằng chỉ những khung không bị lỗi mới được phản chiếu.
3. Loại III
Loại III giới thiệu một tiêu đề tổng hợp lớn hơn và linh hoạt hơn để giải quyết các kịch bản giám sát mạng ngày càng phức tạp và đa dạng, bao gồm nhưng không giới hạn ở quản lý mạng, phát hiện xâm nhập, phân tích hiệu suất và độ trễ, và nhiều hơn nữa. Các trường hợp này cần biết tất cả các tham số gốc của khung phản chiếu và bao gồm cả những tham số không có trong chính khung gốc.
Tiêu đề tổng hợp ERSPAN Loại III bao gồm một tiêu đề bắt buộc 12 byte và một tiêu đề phụ tùy chọn 8 byte dành riêng cho nền tảng.
Định dạng tiêu đề ERSPAN cho Loại III như sau:
Một lần nữa, sau khung gương ban đầu là mã CRC 4 byte.
Như có thể thấy từ định dạng tiêu đề của Loại III, ngoài việc giữ lại các trường Ver, VLAN, COS, T và Session ID dựa trên Loại II, nhiều trường đặc biệt được thêm vào, chẳng hạn như:
• BSO: được sử dụng để chỉ ra tính toàn vẹn của dữ liệu trong các khung dữ liệu được truyền qua ERSPAN. 00 là khung tốt, 11 là khung xấu, 01 là khung ngắn, 11 là khung dài;
• Dấu thời gian: được xuất từ đồng hồ phần cứng đồng bộ với thời gian hệ thống. Trường 32 bit này hỗ trợ độ chính xác của dấu thời gian ít nhất 100 micro giây;
• Loại khung (P) và Loại khung (FT): loại thứ nhất được sử dụng để chỉ định xem ERSPAN có mang các khung giao thức Ethernet (khung PDU) hay không, và loại thứ hai được sử dụng để chỉ định xem ERSPAN có mang các khung Ethernet hay gói IP hay không.
• HW ID: mã định danh duy nhất của bộ xử lý ERSPAN trong hệ thống;
• Gra (Timestamp Granularity): Chỉ định độ chi tiết của dấu thời gian. Ví dụ, 00B biểu thị độ chi tiết 100 micro giây, 01B độ chi tiết 100 nano giây, 10B độ chi tiết IEEE 1588 và 11B yêu cầu các tiêu đề phụ dành riêng cho nền tảng để đạt được độ chi tiết cao hơn.
• Mã định danh nền tảng so với thông tin cụ thể của nền tảng: Các trường thông tin cụ thể của nền tảng có định dạng và nội dung khác nhau tùy thuộc vào giá trị Mã định danh nền tảng.
Cần lưu ý rằng các trường tiêu đề khác nhau được hỗ trợ ở trên có thể được sử dụng trong các ứng dụng ERSPAN thông thường, ngay cả khi sao chép các khung lỗi hoặc khung BPDU, trong khi vẫn duy trì gói Trunk và ID VLAN gốc. Ngoài ra, thông tin dấu thời gian quan trọng và các trường thông tin khác có thể được thêm vào mỗi khung ERSPAN trong quá trình sao chép.
Với các tiêu đề tính năng riêng của ERSPAN, chúng ta có thể thực hiện phân tích lưu lượng mạng chi tiết hơn, và sau đó chỉ cần gắn ACL tương ứng trong tiến trình ERSPAN để khớp với lưu lượng mạng mà chúng ta quan tâm.
ERSPAN triển khai tính năng hiển thị phiên RDMA.
Hãy xem ví dụ về việc sử dụng công nghệ ERSPAN để trực quan hóa phiên RDMA trong một kịch bản RDMA:
RDMAGiao thức truy cập bộ nhớ trực tiếp từ xa (Remote Direct Memory Access - DD) cho phép bộ điều hợp mạng của máy chủ A đọc và ghi bộ nhớ của máy chủ B bằng cách sử dụng các card giao diện mạng thông minh (INC) và bộ chuyển mạch, đạt được băng thông cao, độ trễ thấp và mức sử dụng tài nguyên thấp. Nó được sử dụng rộng rãi trong các kịch bản dữ liệu lớn và lưu trữ phân tán hiệu năng cao.
RoCEv2: RDMA qua Ethernet hội tụ phiên bản 2. Dữ liệu RDMA được đóng gói trong tiêu đề UDP. Số cổng đích là 4791.
Việc vận hành và bảo trì RDMA hàng ngày đòi hỏi thu thập rất nhiều dữ liệu, được sử dụng để thu thập các đường tham chiếu mực nước hàng ngày và các cảnh báo bất thường, cũng như làm cơ sở để xác định vị trí các sự cố bất thường. Kết hợp với ERSPAN, lượng dữ liệu khổng lồ có thể được thu thập nhanh chóng để có được dữ liệu chất lượng chuyển tiếp ở mức micro giây và trạng thái tương tác giao thức của chip chuyển mạch. Thông qua thống kê và phân tích dữ liệu, có thể đánh giá và dự đoán chất lượng chuyển tiếp đầu cuối của RDMA.
Để đạt được khả năng trực quan hóa phiên RDAM, chúng ta cần ERSPAN để khớp các từ khóa cho các phiên tương tác RDMA khi phản chiếu lưu lượng truy cập, và chúng ta cần sử dụng danh sách mở rộng của chuyên gia.
Định nghĩa trường khớp danh sách mở rộng cấp chuyên gia:
UDF bao gồm năm trường: từ khóa UDF, trường cơ sở, trường bù, trường giá trị và trường mặt nạ. Do giới hạn về dung lượng của các mục nhập phần cứng, tổng cộng có thể sử dụng tám UDF. Một UDF có thể khớp tối đa hai byte.
• Từ khóa UDF: UDF1... UDF8 Chứa tám từ khóa của miền khớp UDF
• Trường cơ sở: xác định vị trí bắt đầu của trường khớp UDF. Các trường sau đây
Tiêu đề L4 (áp dụng cho RG-S6520-64CQ)
Tiêu đề L5 (dành cho RG-S6510-48VS8Cq)
• Độ lệch: biểu thị độ lệch so với trường cơ sở. Giá trị nằm trong khoảng từ 0 đến 126.
• Trường giá trị: giá trị khớp. Trường này có thể được sử dụng cùng với trường mặt nạ để cấu hình giá trị cụ thể cần khớp. Bit hợp lệ gồm hai byte.
• Trường mặt nạ: mặt nạ, bit hợp lệ là hai byte
(Lưu ý: Nếu sử dụng nhiều mục nhập trong cùng một trường khớp UDF, trường cơ sở và trường bù phải giống nhau.)
Hai gói tin quan trọng liên quan đến trạng thái phiên RDMA là Gói thông báo tắc nghẽn (CNP) và Gói xác nhận phủ định (NAK):
Thông báo đầu tiên được tạo ra bởi bộ thu RDMA sau khi nhận được thông báo ECN do bộ chuyển mạch gửi (khi bộ đệm eout đạt đến ngưỡng), chứa thông tin về luồng hoặc QP gây tắc nghẽn. Thông báo thứ hai được sử dụng để chỉ ra rằng quá trình truyền RDMA có thông báo phản hồi mất gói.
Hãy cùng xem cách ghép hai thông điệp này lại với nhau bằng cách sử dụng danh sách mở rộng dành cho chuyên gia:
danh sách truy cập chuyên gia mở rộng rdma
cho phép udp bất kỳ bất kỳ bất kỳ bất kỳ eq 4791udf 1 l4_header 8 0x8100 0xFF00(Phù hợp với RG-S6520-64CQ)
cho phép udp bất kỳ bất kỳ bất kỳ bất kỳ eq 4791udf 1 l5_header 0 0x8100 0xFF00(Phù hợp với RG-S6510-48VS8CQ)
danh sách truy cập chuyên gia mở rộng rdma
cho phép udp bất kỳ bất kỳ bất kỳ bất kỳ eq 4791udf 1 l4_header 8 0x1100 0xFF00 udf 2 l4_header 20 0x6000 0xFF00(Phù hợp với RG-S6520-64CQ)
cho phép udp bất kỳ bất kỳ bất kỳ bất kỳ eq 4791udf 1 l5_header 0 0x1100 0xFF00 udf 2 l5_header 12 0x6000 0xFF00(Phù hợp với RG-S6510-48VS8CQ)
Bước cuối cùng, bạn có thể hình dung phiên RDMA bằng cách gắn danh sách mở rộng chuyên gia vào tiến trình ERSPAN thích hợp.
Viết vào cuối
ERSPAN là một trong những công cụ không thể thiếu trong các mạng trung tâm dữ liệu ngày càng lớn, lưu lượng mạng ngày càng phức tạp và các yêu cầu vận hành và bảo trì mạng ngày càng tinh vi hiện nay.
Với mức độ tự động hóa vận hành và bảo trì (O&M) ngày càng tăng, các công nghệ như Netconf, RESTconf và gRPC đang trở nên phổ biến đối với sinh viên O&M trong lĩnh vực vận hành và bảo trì tự động mạng. Việc sử dụng gRPC làm giao thức nền tảng để gửi lại lưu lượng phản chiếu cũng có nhiều ưu điểm. Ví dụ, dựa trên giao thức HTTP/2, nó có thể hỗ trợ cơ chế đẩy luồng dữ liệu trong cùng một kết nối. Với mã hóa ProtoBuf, kích thước thông tin được giảm một nửa so với định dạng JSON, giúp truyền dữ liệu nhanh hơn và hiệu quả hơn. Hãy tưởng tượng, nếu bạn sử dụng ERSPAN để phản chiếu các luồng dữ liệu cần thiết và sau đó gửi chúng đến máy chủ phân tích trên gRPC, liệu điều đó có cải thiện đáng kể khả năng và hiệu quả của vận hành và bảo trì tự động mạng hay không?
Thời gian đăng bài: 10 tháng 5 năm 2022
