Najpopularniejszym obecnie narzędziem do monitorowania sieci i rozwiązywania problemów jest Switch Port Analyzer (SPAN), znany również jako dublowanie portów. Pozwala nam monitorować ruch sieciowy w trybie omijania poza pasmem bez zakłócania usług w działającej sieci i wysyła kopię monitorowanego ruchu do urządzeń lokalnych lub zdalnych, w tym Sniffer, IDS lub innych typów narzędzi do analizy sieci.
Niektóre typowe zastosowania to:
• Rozwiązywanie problemów z siecią poprzez śledzenie ramek kontrolnych/danych;
• Analizuj opóźnienia i fluktuacje poprzez monitorowanie pakietów VoIP;
• Analizuj opóźnienia poprzez monitorowanie interakcji sieciowych;
• Wykrywaj anomalie poprzez monitorowanie ruchu sieciowego.
Ruch SPAN może być lokalnie odzwierciedlany na innych portach tego samego urządzenia źródłowego lub zdalnie odzwierciedlany na innych urządzeniach sieciowych sąsiadujących z warstwą 2 urządzenia źródłowego (RSPAN).
Dzisiaj porozmawiamy o technologii zdalnego monitorowania ruchu internetowego o nazwie ERSPAN (Encapsulated Remote Switch Port Analyzer), która może być przesyłana w trzech warstwach protokołu IP. Jest to rozszerzenie SPAN na Encapsulated Remote.
Podstawowe zasady działania ERSPAN
Najpierw przyjrzyjmy się funkcjom ERSPAN:
• Kopia pakietu z portu źródłowego jest wysyłana do serwera docelowego w celu przeanalizowania za pomocą Generic Routing Encapsulation (GRE). Fizyczna lokalizacja serwera nie jest ograniczona.
• Za pomocą funkcji pola zdefiniowanego przez użytkownika (UDF) w chipie przeprowadzane jest dowolne przesunięcie od 1 do 126 bajtów w oparciu o domenę podstawową za pośrednictwem rozszerzonej listy na poziomie eksperckim, a słowa kluczowe sesji są dopasowywane w celu realizacji wizualizacji sesji, np. trójstronnego uzgadniania TCP i sesji RDMA;
• Obsługa ustawiania częstotliwości próbkowania;
• Obsługuje długość przechwytywania pakietów (Packet Slicing), zmniejszając obciążenie serwera docelowego.
Dzięki tym funkcjom możesz zobaczyć, dlaczego ERSPAN jest dziś niezbędnym narzędziem do monitorowania sieci w centrach danych.
Główne funkcje ERSPAN można podsumować w dwóch aspektach:
• Widoczność sesji: Użyj ERSPAN, aby zebrać wszystkie utworzone nowe sesje TCP i zdalnego bezpośredniego dostępu do pamięci (RDMA) na serwerze zaplecza w celu wyświetlenia;
• Rozwiązywanie problemów z siecią: Przechwytuje ruch sieciowy w celu analizy usterek w przypadku wystąpienia problemu z siecią.
Aby to zrobić, źródłowe urządzenie sieciowe musi odfiltrować ruch interesujący użytkownika z ogromnego strumienia danych, wykonać kopię i hermetzować każdą ramkę kopii w specjalnym „kontenerze superramki”, który przenosi wystarczającą ilość dodatkowych informacji, aby móc być prawidłowo przekierowane do urządzenia odbiorczego. Co więcej, umożliwij urządzeniu odbierającemu wyodrębnienie i pełne odzyskanie pierwotnie monitorowanego ruchu.
Urządzeniem odbiorczym może być inny serwer obsługujący dekapsulację pakietów ERSPAN.
Analiza typu i formatu opakowania ERSPAN
Pakiety ERSPAN są kapsułkowane przy użyciu GRE i przesyłane do dowolnego miejsca docelowego z adresem IP przez Ethernet. ERSPAN jest obecnie używany głównie w sieciach IPv4, a obsługa protokołu IPv6 będzie wymagana w przyszłości.
Ogólna struktura enkapsulacji ERSAPN przedstawia lustrzane przechwytywanie pakietów ICMP:
Protokół ERSPAN rozwijał się przez długi czas, a wraz ze wzrostem jego możliwości powstało kilka wersji, zwanych „typami ERSPAN”. Różne typy mają różne formaty nagłówków ramek.
Jest ona zdefiniowana w pierwszym polu Wersja nagłówka ERSPAN:
Ponadto pole Typ protokołu w nagłówku GRE wskazuje również wewnętrzny typ ERSPAN. Pole Protocol Type 0x88BE oznacza ERSPAN Type II, a 0x22EB oznacza ERSPAN Type III.
1. Typ I
Rama ERSPAN typu I hermetyzuje IP i GRE bezpośrednio nad nagłówkiem oryginalnej ramy lustra. Ta enkapsulacja dodaje 38 bajtów w stosunku do oryginalnej ramki: 14 (MAC) + 20 (IP) + 4 (GRE). Zaletą tego formatu jest to, że ma kompaktowy rozmiar nagłówka i zmniejsza koszty transmisji. Jednakże, ponieważ ustawia pola flagi i wersji GRE na 0, nie zawiera żadnych rozszerzonych pól, a typ I nie jest powszechnie używany, więc nie ma potrzeby dalszego rozwijania.
Format nagłówka GRE typu I jest następujący:
2. Typ II
W typie II wszystkie pola C, R, K, S, S, Recur, Flags i Version w nagłówku GRE mają wartość 0 z wyjątkiem pola S. Dlatego pole Numer sekwencyjny jest wyświetlane w nagłówku GRE typu II. Oznacza to, że typ II może zapewnić kolejność odbierania pakietów GRE, dzięki czemu duża liczba pakietów GRE spoza kolejności nie może zostać posortowana z powodu awarii sieci.
Format nagłówka GRE typu II jest następujący:
Ponadto format ramki ERSPAN typu II dodaje 8-bajtowy nagłówek ERSPAN pomiędzy nagłówkiem GRE a oryginalną ramką lustrzaną.
Format nagłówka ERSPAN dla typu II jest następujący:
Na koniec, bezpośrednio po oryginalnej ramce obrazu, znajduje się standardowy 4-bajtowy kod cyklicznej kontroli nadmiarowej sieci Ethernet (CRC).
Warto zauważyć, że w implementacji ramka lustrzana nie zawiera pola FCS ramki oryginalnej, zamiast tego przeliczana jest nowa wartość CRC na podstawie całego ERSPAN. Oznacza to, że urządzenie odbiorcze nie może zweryfikować poprawności CRC oryginalnej ramki i możemy jedynie założyć, że lustrzanym odbiciem są tylko nieuszkodzone ramki.
3. Typ III
Typ III wprowadza większy i bardziej elastyczny nagłówek złożony, aby sprostać coraz bardziej złożonym i zróżnicowanym scenariuszom monitorowania sieci, w tym między innymi zarządzaniu siecią, wykrywaniu włamań, analizie wydajności i opóźnień i nie tylko. Sceny te muszą znać wszystkie oryginalne parametry ramy lustra i uwzględniać te, których nie ma w samej oryginalnej ramie.
Nagłówek złożony ERSPAN typu III zawiera obowiązkowy 12-bajtowy nagłówek i opcjonalny 8-bajtowy podnagłówek specyficzny dla platformy.
Format nagłówka ERSPAN dla typu III jest następujący:
Ponownie, po oryginalnej ramce lustrzanej znajduje się 4-bajtowy CRC.
Jak widać z formatu nagłówka Typu III, oprócz zachowania pól Ver, VLAN, COS, T i Session ID na podstawie Typu II, dodano wiele pól specjalnych, takich jak:
• BSO: używany do wskazania integralności obciążenia ramek danych przesyłanych przez ERSPAN. 00 to dobra klatka, 11 to zła klatka, 01 to krótka klatka, 11 to duża klatka;
• Znacznik czasu: eksportowany z zegara sprzętowego zsynchronizowanego z czasem systemowym. To 32-bitowe pole obsługuje co najmniej 100 mikrosekund szczegółowości znacznika czasu;
• Typ ramki (P) i typ ramki (FT): pierwszy służy do określenia, czy ERSPAN przenosi ramki protokołu Ethernet (ramki PDU), a drugi służy do określenia, czy ERSPAN przenosi ramki Ethernet czy pakiety IP.
• HW ID: unikalny identyfikator silnika ERSPAN w systemie;
• Gra (Szczegółowość znacznika czasu): Określa szczegółowość znacznika czasu. Na przykład 00B reprezentuje ziarnistość 100 mikrosekund, 01B 100 nanosekund ziarnistości, 10B IEEE 1588 ziarnistości, a 11B wymaga podnagłówków specyficznych dla platformy, aby osiągnąć wyższą ziarnistość.
• Identyfikator Platf a informacje specyficzne dla platformy: Pola informacji specyficznych dla Platf mają różne formaty i zawartość w zależności od wartości identyfikatora Platf.
Należy zauważyć, że różne obsługiwane powyżej pola nagłówka mogą być używane w zwykłych aplikacjach ERSPAN, nawet odzwierciedlając ramki błędów lub ramki BPDU, przy zachowaniu oryginalnego pakietu Trunk i identyfikatora VLAN. Ponadto podczas tworzenia kopii lustrzanej do każdej ramki ERSPAN można dodać kluczowe informacje o sygnaturze czasowej i inne pola informacyjne.
Dzięki własnym nagłówkom funkcji ERSPAN możemy uzyskać bardziej wyrafinowaną analizę ruchu sieciowego, a następnie po prostu zamontować odpowiednią listę ACL w procesie ERSPAN, aby dopasować ją do ruchu sieciowego, który nas interesuje.
ERSPAN wdraża widoczność sesji RDMA
Weźmy przykład wykorzystania technologii ERSPAN do uzyskania wizualizacji sesji RDMA w scenariuszu RDMA:
RDMA: Zdalny bezpośredni dostęp do pamięci umożliwia karcie sieciowej serwera A odczytywanie i zapisywanie pamięci serwera B przy użyciu inteligentnych kart interfejsu sieciowego (inics) i przełączników, uzyskując wysoką przepustowość, małe opóźnienia i niskie wykorzystanie zasobów. Jest szeroko stosowany w scenariuszach dużych zbiorów danych i wysokowydajnej rozproszonej pamięci masowej.
RoCEv2: RDMA przez konwergentny Ethernet wersja 2. Dane RDMA są hermetyzowane w nagłówku UDP. Numer portu docelowego to 4791.
Codzienna obsługa i konserwacja RDMA wymaga gromadzenia dużej ilości danych, które służą do zbierania dziennych linii referencyjnych poziomu wody oraz alarmów odbiegających od normy, a także stanowią podstawę do lokalizacji nietypowych problemów. W połączeniu z ERSPAN można szybko przechwycić ogromne ilości danych w celu uzyskania danych o jakości przesyłania mikrosekund i statusu interakcji protokołu chipa przełączającego. Dzięki statystykom i analizom danych można uzyskać kompleksową ocenę i prognozę jakości przesyłania RDMA.
Aby uzyskać wizualizację sesji RDAM, potrzebujemy, aby ERSPAN dopasowywał słowa kluczowe do sesji interakcji RDMA podczas odzwierciedlania ruchu i musimy skorzystać z rozszerzonej listy eksperckiej.
Rozszerzona lista dopasowująca definicję pola na poziomie eksperckim:
UDF składa się z pięciu pól: słowa kluczowego UDF, pola bazowego, pola przesunięcia, pola wartości i pola maski. Ograniczona pojemnością wejść sprzętowych, można zastosować łącznie osiem UDF. Jeden UDF może dopasować maksymalnie dwa bajty.
• Słowo kluczowe UDF: UDF1... UDF8 Zawiera osiem słów kluczowych domeny odpowiadającej UDF
• Pole bazowe: określa pozycję początkową pola dopasowania UDF. Następujące
Nagłówek L4 (dotyczy RG-S6520-64CQ)
Nagłówek L5 (dla RG-S6510-48VS8Cq)
• Przesunięcie: wskazuje przesunięcie w oparciu o pole podstawowe. Wartość mieści się w zakresie od 0 do 126
• Pole wartości: pasująca wartość. Można go używać razem z polem maski, aby skonfigurować konkretną wartość, która ma zostać dopasowana. Poprawny bit to dwa bajty
• Pole maski: maska, ważny bit to dwa bajty
(Dodaj: jeśli w tym samym polu dopasowania UDF używanych jest wiele wpisów, pola podstawowe i przesunięcie muszą być takie same.)
Dwa kluczowe pakiety powiązane ze statusem sesji RDMA to pakiet powiadamiania o przeciążeniu (CNP) i potwierdzenie negatywne (NAK):
Ten pierwszy generowany jest przez odbiornik RDMA po odebraniu komunikatu ECN wysłanego przez przełącznik (w momencie, gdy bufor eout osiągnie próg), który zawiera informację o przepływie lub QP powodującym przeciążenie. Ten ostatni służy do wskazania, że transmisja RDMA zawiera komunikat odpowiedzi na utratę pakietu.
Przyjrzyjmy się, jak dopasować te dwie wiadomości, korzystając z rozszerzonej listy na poziomie eksperckim:
rozszerzona lista dostępu ekspertów rdma
zezwól na udp dowolny dowolny dowolny równoważny 4791udf 1 l4_header 8 0x8100 0xFF00(Pasuje do RG-S6520-64CQ)
zezwól na udp dowolny dowolny dowolny równoważny 4791udf 1 l5_header 0 0x8100 0xFF00(Pasuje do RG-S6510-48VS8CQ)
rozszerzona lista dostępu ekspertów rdma
zezwól na udp dowolny dowolny dowolny równoważny 4791udf 1 l4_nagłówek 8 0x1100 0xFF00 udf 2 l4_nagłówek 20 0x6000 0xFF00(Pasuje do RG-S6520-64CQ)
zezwól na udp dowolny dowolny dowolny równoważny 4791udf 1 l5_nagłówek 0 0x1100 0xFF00 udf 2 l5_nagłówek 12 0x6000 0xFF00(Pasuje do RG-S6510-48VS8CQ)
Ostatnim krokiem jest wizualizacja sesji RDMA poprzez zamontowanie listy rozszerzeń eksperckich w odpowiednim procesie ERSPAN.
Napisz w ostatnim
ERSPAN jest jednym z niezbędnych narzędzi w dzisiejszych coraz większych sieciach centrów danych, przy coraz bardziej złożonym ruchu sieciowym i coraz bardziej wyrafinowanych wymaganiach dotyczących obsługi i konserwacji sieci.
Wraz ze wzrostem stopnia automatyzacji obsługi i konserwacji, technologie takie jak Netconf, RESTconf i gRPC cieszą się popularnością wśród studentów zajmujących się obsługą i konserwacją w sieci. Używanie gRPC jako podstawowego protokołu do odsyłania ruchu lustrzanego ma również wiele zalet. Na przykład w oparciu o protokół HTTP/2 może obsługiwać mechanizm przesyłania strumieniowego push w ramach tego samego połączenia. Dzięki kodowaniu ProtoBuf rozmiar informacji jest zmniejszony o połowę w porównaniu z formatem JSON, dzięki czemu transmisja danych jest szybsza i wydajniejsza. Wyobraź sobie, że jeśli użyjesz ERSPAN do odzwierciedlenia zainteresowanych strumieni, a następnie wyślesz je do serwera analiz w gRPC, czy znacznie poprawi to możliwości i efektywność automatycznego działania i konserwacji sieci?
Czas publikacji: 10 maja 2022 r
