Tại sao cần thiết bị thu thập dữ liệu mạng (Network Taps) và bộ xử lý gói tin mạng (Network Packet Brokers) để thu thập lưu lượng mạng? (Phần 3)

Giới thiệu
Những năm gần đây, tỷ lệ dịch vụ đám mây trong các ngành công nghiệp của Trung Quốc đang tăng lên. Các công ty công nghệ đã nắm bắt cơ hội của vòng cách mạng công nghệ mới, tích cực thực hiện chuyển đổi số, tăng cường nghiên cứu và ứng dụng các công nghệ mới như điện toán đám mây, dữ liệu lớn, trí tuệ nhân tạo, blockchain và Internet vạn vật, đồng thời nâng cao năng lực dịch vụ khoa học và công nghệ của mình. Với sự phát triển không ngừng của công nghệ đám mây và ảo hóa, ngày càng nhiều hệ thống ứng dụng trong trung tâm dữ liệu chuyển từ mạng lưới vật lý truyền thống sang nền tảng đám mây, và lưu lượng truy cập Đông-Tây trong môi trường đám mây của trung tâm dữ liệu đang tăng lên đáng kể. Tuy nhiên, mạng lưới thu thập lưu lượng vật lý truyền thống không thể trực tiếp thu thập lưu lượng Đông-Tây trong môi trường đám mây, dẫn đến việc lưu lượng nghiệp vụ trong môi trường đám mây trở thành lĩnh vực ưu tiên hàng đầu. Việc trích xuất dữ liệu lưu lượng Đông-Tây trong môi trường đám mây đã trở thành xu hướng tất yếu. Việc giới thiệu công nghệ thu thập lưu lượng Đông-Tây mới trong môi trường đám mây giúp hệ thống ứng dụng được triển khai trong môi trường đám mây cũng có được sự hỗ trợ giám sát hoàn hảo, và khi xảy ra sự cố và lỗi, phân tích bắt gói tin có thể được sử dụng để phân tích vấn đề và theo dõi luồng dữ liệu.

1. Lưu lượng truy cập Đông-Tây trong môi trường đám mây không thể được thu thập trực tiếp, do đó hệ thống ứng dụng trong môi trường đám mây không thể triển khai giám sát và phát hiện dựa trên luồng dữ liệu nghiệp vụ thời gian thực, và nhân viên vận hành và bảo trì không thể kịp thời phát hiện hoạt động thực tế của hệ thống ứng dụng trong môi trường đám mây, điều này mang lại những lợi ích tiềm ẩn nhất định cho hoạt động lành mạnh và ổn định của hệ thống ứng dụng trong môi trường đám mây.

2. Lưu lượng truy cập theo hướng đông và tây trong môi trường điện toán đám mây không thể được thu thập trực tiếp, điều này khiến việc trích xuất trực tiếp các gói dữ liệu để phân tích khi xảy ra sự cố trong các ứng dụng nghiệp vụ trên môi trường điện toán đám mây trở nên bất khả thi, gây ra những khó khăn nhất định trong việc xác định vị trí lỗi.

3. Với các yêu cầu ngày càng khắt khe về an ninh mạng và các cuộc kiểm toán khác nhau, chẳng hạn như giám sát giao dịch ứng dụng BPC, hệ thống phát hiện xâm nhập IDS, hệ thống kiểm toán ghi âm email và dịch vụ khách hàng, nhu cầu thu thập lưu lượng truy cập Đông-Tây trong môi trường đám mây cũng ngày càng trở nên cấp thiết. Dựa trên phân tích trên, việc thực hiện trích xuất dữ liệu lưu lượng truy cập Đông-Tây trong môi trường đám mây và giới thiệu công nghệ thu thập lưu lượng truy cập Đông-Tây mới trong môi trường đám mây để hỗ trợ giám sát hoàn hảo cho hệ thống ứng dụng được triển khai trong môi trường đám mây đã trở thành một xu hướng tất yếu. Khi xảy ra sự cố và lỗi, phân tích bắt gói tin có thể được sử dụng để phân tích vấn đề và theo dõi luồng dữ liệu. Việc thực hiện trích xuất và phân tích lưu lượng truy cập Đông-Tây trong môi trường đám mây là một vũ khí lợi hại để đảm bảo hoạt động ổn định của các hệ thống ứng dụng được triển khai trong môi trường đám mây.

phần mềm giám sát mạng

Các chỉ số chính cho việc thu thập lưu lượng mạng ảo
1. Hiệu suất thu thập lưu lượng mạng
Lưu lượng truy cập Đông-Tây chiếm hơn một nửa tổng lưu lượng truy cập trung tâm dữ liệu, và cần có công nghệ thu thập dữ liệu hiệu năng cao để thực hiện việc thu thập đầy đủ. Đồng thời với việc thu thập, các tác vụ tiền xử lý khác như loại bỏ dữ liệu trùng lặp, cắt bớt và giảm độ nhạy cần được hoàn thành cho các dịch vụ khác nhau, điều này càng làm tăng thêm yêu cầu về hiệu năng.
2. Chi phí quản lý nguồn lực
Hầu hết các kỹ thuật thu thập lưu lượng truy cập Đông-Tây đều cần chiếm dụng tài nguyên tính toán, lưu trữ và mạng có thể được sử dụng cho dịch vụ. Bên cạnh việc tiêu thụ các tài nguyên này càng ít càng tốt, vẫn cần phải xem xét chi phí quản lý việc triển khai công nghệ thu thập. Đặc biệt khi quy mô các nút mở rộng, nếu chi phí quản lý cũng có xu hướng tăng tuyến tính.
3. Mức độ xâm phạm
Các công nghệ thu thập dữ liệu phổ biến hiện nay thường yêu cầu bổ sung cấu hình chính sách thu thập dữ liệu trên hypervisor hoặc các thành phần liên quan. Bên cạnh những xung đột tiềm tàng với các chính sách kinh doanh, các chính sách này thường làm tăng thêm gánh nặng cho hypervisor hoặc các thành phần kinh doanh khác và ảnh hưởng đến SLA dịch vụ.
Từ mô tả trên, có thể thấy rằng việc thu thập lưu lượng truy cập trong môi trường điện toán đám mây cần tập trung vào việc thu thập lưu lượng truy cập Đông-Tây giữa các máy ảo và các vấn đề về hiệu năng. Đồng thời, xét đến đặc điểm động của nền tảng điện toán đám mây, việc thu thập lưu lượng truy cập trong môi trường điện toán đám mây cần phải vượt qua mô hình phản chiếu chuyển mạch truyền thống hiện có, và thực hiện triển khai thu thập và giám sát linh hoạt và tự động, để phù hợp với mục tiêu vận hành và bảo trì tự động của mạng điện toán đám mây. Việc thu thập lưu lượng truy cập trong môi trường điện toán đám mây cần đạt được các mục tiêu sau:

1) Thực hiện chức năng thu thập lưu lượng truy cập đông-tây giữa các máy ảo
2) Quá trình thu thập dữ liệu được triển khai đến nút tính toán, và kiến ​​trúc thu thập phân tán được sử dụng để tránh các vấn đề về hiệu suất và độ ổn định do bộ chuyển mạch phản chiếu gây ra.
3) Nó có thể tự động cảm nhận sự thay đổi của tài nguyên máy ảo trong môi trường đám mây và chiến lược thu thập có thể được điều chỉnh tự động theo sự thay đổi của tài nguyên máy ảo.
4) Công cụ thu thập dữ liệu cần có cơ chế bảo vệ quá tải để giảm thiểu tác động lên máy chủ.
5) Bản thân công cụ thu thập dữ liệu có chức năng tối ưu hóa lưu lượng truy cập.
6) Nền tảng thu thập dữ liệu có thể giám sát lưu lượng truy cập máy ảo đã thu thập.

Thu thập dữ liệu giao thông ảo

Lựa chọn chế độ ghi lại lưu lượng truy cập máy ảo trong môi trường đám mây

Việc thu thập lưu lượng máy ảo trong môi trường điện toán đám mây cần triển khai thiết bị thu thập dữ liệu đến nút tính toán. Dựa trên vị trí của điểm thu thập có thể được triển khai trên nút tính toán, chế độ thu thập lưu lượng máy ảo trong môi trường điện toán đám mây có thể được chia thành ba chế độ:Chế độ tác nhân, Chế độ máy ảoChế độ máy chủ.
Chế độ máy ảoTrên mỗi máy chủ vật lý trong môi trường đám mây, một máy ảo thu thập dữ liệu thống nhất được cài đặt, và một phần mềm thu thập dữ liệu (soft probe) được triển khai trên máy ảo thu thập dữ liệu đó. Lưu lượng truy cập của máy chủ được sao chép sang máy ảo thu thập dữ liệu bằng cách sao chép lưu lượng truy cập của card mạng ảo trên bộ chuyển mạch ảo, sau đó máy ảo thu thập dữ liệu truyền tải đến nền tảng thu thập lưu lượng vật lý truyền thống thông qua một card mạng chuyên dụng. Sau đó, lưu lượng này được phân phối đến từng nền tảng giám sát và phân tích. Ưu điểm là phần mềm chuyển mạch bỏ qua việc sao chép, không gây ảnh hưởng đến card mạng và máy ảo hiện có, đồng thời có thể nhận biết sự thay đổi của máy ảo và tự động di chuyển các chính sách thông qua một số phương tiện nhất định. Nhược điểm là không thể đạt được cơ chế bảo vệ quá tải bằng cách máy ảo thu thập dữ liệu thụ động nhận lưu lượng, và dung lượng lưu lượng có thể được sao chép phụ thuộc vào hiệu suất của bộ chuyển mạch ảo, điều này ảnh hưởng nhất định đến tính ổn định của bộ chuyển mạch ảo. Trong môi trường KVM, nền tảng đám mây cần phải phát hành bảng luồng hình ảnh một cách thống nhất, điều này phức tạp trong việc quản lý và bảo trì. Đặc biệt khi máy chủ gặp sự cố, máy ảo thu thập dữ liệu cũng giống như máy ảo nghiệp vụ và sẽ di chuyển sang các máy chủ khác cùng với các máy ảo khác.
Chế độ tác nhânPhương pháp này sử dụng phần mềm thu thập dữ liệu (Agent Agent) trên mỗi máy ảo cần thu thập lưu lượng truy cập trong môi trường đám mây, trích xuất lưu lượng truy cập phía đông và phía tây của môi trường đám mây thông qua phần mềm Agent Agent, và phân phối đến từng nền tảng phân tích. Ưu điểm là độc lập với nền tảng ảo hóa, không ảnh hưởng đến hiệu năng của bộ chuyển mạch ảo, có thể di chuyển cùng với máy ảo và có thể thực hiện lọc lưu lượng. Nhược điểm là cần quản lý quá nhiều Agent, và không thể loại trừ ảnh hưởng của chính Agent khi xảy ra lỗi. Cần phải chia sẻ card mạng hiện có để phân phối lưu lượng, điều này có thể ảnh hưởng đến tương tác nghiệp vụ.
Chế độ máy chủBằng cách triển khai một phần mềm thu thập dữ liệu độc lập trên mỗi máy chủ vật lý trong môi trường đám mây, nó hoạt động ở chế độ xử lý trên máy chủ và truyền lưu lượng truy cập đã thu thập đến nền tảng thu thập lưu lượng vật lý truyền thống. Ưu điểm là cơ chế bỏ qua hoàn toàn, không xâm nhập vào máy ảo, card mạng doanh nghiệp và bộ chuyển mạch máy ảo, phương pháp thu thập đơn giản, quản lý thuận tiện, không cần duy trì máy ảo độc lập, trọng lượng nhẹ và phần mềm thu thập dữ liệu có thể đạt được khả năng bảo vệ quá tải. Là một tiến trình máy chủ, nó có thể giám sát tài nguyên và hiệu suất của máy chủ và máy ảo để hướng dẫn việc triển khai chiến lược sao chép. Nhược điểm là nó cần tiêu tốn một lượng tài nguyên máy chủ nhất định và cần chú ý đến tác động đến hiệu suất. Ngoài ra, một số nền tảng ảo có thể không hỗ trợ việc triển khai phần mềm thu thập dữ liệu trên máy chủ.
Từ tình hình hiện tại của ngành, chế độ máy ảo có ứng dụng trong điện toán đám mây công cộng, còn chế độ tác nhân (Agent Mode) và chế độ máy chủ (Host Mode) có một số người dùng trong điện toán đám mây riêng.


Thời gian đăng bài: 06/11/2024