Nejběžnějším nástrojem pro monitorování a řešení problémů v síti je dnes Switch Port Analyzer (SPAN), známý také jako Port mirroring. Umožňuje nám monitorovat síťový provoz v režimu bypass out of band, aniž by zasahoval do služeb v aktivní síti, a odesílá kopii monitorovaného provozu na lokální nebo vzdálená zařízení, včetně Snifferu, IDS nebo jiných typů nástrojů pro analýzu sítě.
Některá typická použití jsou:
• Řešení problémů se sítí sledováním řídicích/datových rámců;
• Analyzovat latenci a jitter monitorováním VoIP paketů;
• Analyzovat latenci monitorováním síťových interakcí;
• Detekce anomálií monitorováním síťového provozu.
Provoz SPAN lze lokálně zrcadlit na jiné porty na stejném zdrojovém zařízení nebo vzdáleně zrcadlit na jiná síťová zařízení sousedící s vrstvou 2 zdrojového zařízení (RSPAN).
Dnes si povíme o technologii pro vzdálené monitorování internetového provozu s názvem ERSPAN (Encapsulated Remote Switch Port Analyzer), která umožňuje přenos dat přes tři vrstvy IP. Jedná se o rozšíření SPAN na Encapsulated Remote.
Základní principy fungování ERSPANu
Nejprve se podívejme na funkce ERSPANu:
• Kopie paketu ze zdrojového portu je odeslána na cílový server k analýze pomocí protokolu Generic Routing Encapsulation (GRE). Fyzické umístění serveru není omezeno.
• S pomocí funkce User Defined Field (UDF) čipu se provádí libovolný offset o velikosti 1 až 126 bajtů na základě základní domény prostřednictvím rozšířeného seznamu na expertní úrovni a klíčová slova relace se porovnávají pro realizaci vizualizace relace, jako je například třícestné navazování spojení TCP a relace RDMA;
• Podpora nastavení vzorkovací frekvence;
• Podporuje délku zachycení paketů (Packet Slicing), což snižuje zátěž cílového serveru.
Díky těmto funkcím si můžete být jisti, proč je ERSPAN dnes nezbytným nástrojem pro monitorování sítí v datových centrech.
Hlavní funkce ERSPANu lze shrnout do dvou aspektů:
• Viditelnost relace: Pomocí ERSPAN shromažďujte všechny vytvořené nové relace TCP a RDMA (Remote Direct Memory Access) na back-end serveru pro zobrazení;
• Řešení problémů se sítí: Zachycuje síťový provoz pro analýzu chyb, když dojde k problému se sítí.
Aby toho bylo možné dosáhnout, musí zdrojové síťové zařízení z masivního datového proudu odfiltrovat provoz, který uživatele zajímá, vytvořit kopii a zapouzdřit každý kopírovaný rámec do speciálního „superrámcového kontejneru“, který obsahuje dostatek dalších informací, aby mohl být správně směrován k přijímacímu zařízení. Navíc musí přijímajícímu zařízení umožnit extrahovat a plně obnovit původní monitorovaný provoz.
Přijímajícím zařízením může být jiný server, který podporuje dekapsulaci paketů ERSPAN.
Analýza typů a formátů balíčků ERSPAN
Pakety ERSPAN jsou zapouzdřeny pomocí GRE a přeposílány na libovolný IP adresovatelný cíl přes Ethernet. ERSPAN se v současnosti používá hlavně v sítích IPv4 a podpora IPv6 bude v budoucnu vyžadována.
Pro obecnou strukturu zapouzdření ERSAPN je následující zrcadlový záchyt paketů ICMP:
Protokol ERSPAN se vyvíjel po dlouhou dobu a s rozšiřováním jeho možností vzniklo několik verzí, nazývaných „typy ERSPAN“. Různé typy mají různé formáty záhlaví rámců.
Je definována v prvním poli Verze v záhlaví ERSPAN:
Pole Typ protokolu v záhlaví GRE navíc také označuje interní typ ERSPAN. Pole Typ protokolu 0x88BE označuje ERSPAN typ II a 0x22EB označuje ERSPAN typ III.
1. Typ I.
Rámec ERSPAN typu I zapouzdřuje IP a GRE přímo přes záhlaví původního zrcadlového rámce. Toto zapouzdření přidává 38 bajtů k původnímu rámci: 14(MAC) + 20 (IP) + 4(GRE). Výhodou tohoto formátu je kompaktní velikost záhlaví a snížení nákladů na přenos. Protože však nastavuje pole GRE Flag a Version na 0, neobsahuje žádná rozšířená pole a typ I se příliš nepoužívá, takže není třeba jej dále rozšiřovat.
Formát záhlaví GRE typu I je následující:
2. Typ II
V typu II jsou pole C, R, K, S, S, Recur, Flags a Version v záhlaví GRE všechna s výjimkou pole S nastavena na 0. Proto se v záhlaví GRE typu II zobrazuje pole Sequence Number. To znamená, že typ II dokáže zajistit pořadí příjmu paketů GRE, takže velké množství paketů GRE mimo pořadí nelze seřadit kvůli síťové chybě.
Formát záhlaví GRE typu II je následující:
Formát rámce ERSPAN typu II navíc přidává mezi záhlaví GRE a původní zrcadlený rámec 8bajtovou hlavičku ERSPAN.
Formát záhlaví ERSPAN pro typ II je následující:
Nakonec, bezprostředně za původním obrazovým snímkem, následuje standardní 4bajtový kód cyklické redundance (CRC) Ethernetu.
Za zmínku stojí, že v implementaci zrcadlový rámec neobsahuje pole FCS původního rámce, místo toho se přepočítává nová hodnota CRC na základě celého ERSPAN. To znamená, že přijímací zařízení nemůže ověřit správnost CRC původního rámce a můžeme pouze předpokládat, že se zrcadlí pouze nepoškozené rámce.
3. Typ III
Typ III zavádí větší a flexibilnější kompozitní záhlaví pro řešení stále složitějších a rozmanitějších scénářů monitorování sítě, včetně mimo jiné správy sítě, detekce narušení, analýzy výkonu a zpoždění a dalších. Tyto scény potřebují znát všechny původní parametry zrcadlového rámce a zahrnout i ty, které v samotném původním rámci nejsou přítomny.
Kompozitní záhlaví ERSPAN typu III obsahuje povinné 12bajtové záhlaví a volitelné 8bajtové podzáhlaví specifické pro platformu.
Formát záhlaví ERSPAN pro typ III je následující:
Opět platí, že za původním zrcadlovým rámečkem je 4bajtový CRC.
Jak je patrné z formátu záhlaví typu III, kromě zachování polí Ver, VLAN, COS, T a Session ID na základě typu II je přidáno mnoho speciálních polí, například:
• BSO: používá se k označení integrity načtení datových rámců přenášených protokolem ERSPAN. 00 je dobrý rámec, 11 je špatný rámec, 01 je krátký rámec, 11 je dlouhý rámec;
• Časové razítko: exportováno z hardwarových hodin synchronizovaných se systémovým časem. Toto 32bitové pole podporuje granularitu časového razítka alespoň 100 mikrosekund;
• Typ rámce (P) a typ rámce (FT): první se používá k určení, zda ERSPAN přenáší rámce ethernetového protokolu (rámce PDU), a druhý se používá k určení, zda ERSPAN přenáší rámce ethernetového protokolu nebo IP pakety.
• HW ID: jedinečný identifikátor enginu ERSPAN v systému;
• Gra (Granularita časového razítka): Určuje granularitu časového razítka. Například 00B představuje granularitu 100 mikrosekund, 01B granularitu 100 nanosekund, 10B granularitu IEEE 1588 a 11B vyžaduje pro dosažení vyšší granularity podzáhlaví specifické pro platformu.
• ID platformy vs. informace specifické pro platformu: Pole s informacemi specifickými pro platformu mají různý formát a obsah v závislosti na hodnotě ID platformy.
Je třeba poznamenat, že různá výše podporovaná pole záhlaví lze použít v běžných aplikacích ERSPAN, a to i při zrcadlení chybových rámců nebo rámců BPDU, a to při zachování původního balíčku kmenové sítě a ID VLAN. Kromě toho lze během zrcadlení do každého rámce ERSPAN přidat informace o časovém razítku klíče a další informační pole.
Díky vlastním hlavičkám funkcí ERSPAN můžeme dosáhnout přesnější analýzy síťového provozu a poté jednoduše připojit odpovídající ACL v procesu ERSPAN tak, aby odpovídal síťovému provozu, který nás zajímá.
ERSPAN implementuje viditelnost relací RDMA
Vezměme si příklad použití technologie ERSPAN k dosažení vizualizace relace RDMA v RDMA scénáři:
RDMAVzdálený přímý přístup k paměti (Remote Direct Memory Access) umožňuje síťovému adaptéru serveru A číst a zapisovat do paměti serveru B pomocí inteligentních síťových karet (inic) a přepínačů, čímž dosahuje vysoké šířky pásma, nízké latence a nízkého využití zdrojů. Je široce používán ve scénářích velkých dat a vysoce výkonného distribuovaného úložiště.
RoCEv2RDMA přes konvergovaný Ethernet verze 2. Data RDMA jsou zapouzdřena v záhlaví UDP. Číslo cílového portu je 4791.
Denní provoz a údržba RDMA vyžaduje sběr velkého množství dat, která se používají ke shromažďování denních referenčních hodnot hladiny vody a abnormálních alarmů, a také jako základ pro lokalizaci abnormálních problémů. V kombinaci s ERSPAN lze rychle shromažďovat obrovské množství dat pro získání mikrosekundových dat o kvalitě předávání a stavu interakce protokolu spínacího čipu. Prostřednictvím statistik a analýzy dat lze získat komplexní vyhodnocení a predikci kvality předávání RDMA.
Abychom dosáhli vizualizace relací RDAM, potřebujeme, aby ERSPAN při zrcadlení provozu porovnával klíčová slova pro relace interakce RDMA a abychom použili rozšířený seznam expertů.
Definice pole pro porovnávání rozšířeného seznamu na expertní úrovni:
UDF se skládá z pěti polí: klíčové slovo UDF, základní pole, pole offsetu, pole hodnoty a pole masky. Vzhledem k kapacitě hardwarových záznamů lze použít celkem osm UDF. Jedna UDF může odpovídat maximálně dvěma bajtům.
• Klíčové slovo UDF: UDF1... UDF8 Obsahuje osm klíčových slov odpovídající domény UDF
• Základní pole: identifikuje počáteční pozici odpovídajícího pole UDF. Následující
L4_header (platí pro RG-S6520-64CQ)
L5_header (pro RG-S6510-48VS8Cq)
• Offset: označuje offset vzhledem k základnímu poli. Hodnota se pohybuje od 0 do 126
• Pole Hodnota: porovnávací hodnota. Lze jej použít společně s polem masky ke konfiguraci konkrétní hodnoty, která se má porovnávat. Platný bit je dva bajty.
• Pole masky: maska, platný bit jsou dva bajty
(Doplněno: Pokud je ve stejném porovnávacím poli UDF použito více položek, musí být základní pole a pole posunu shodné.)
Dva klíčové pakety spojené se stavem relace RDMA jsou paket oznámení o přetížení (CNP) a paket negativního potvrzení (NAK):
První je generována přijímačem RDMA po přijetí zprávy ECN odeslané přepínačem (když vyrovnávací paměť eout dosáhne prahové hodnoty), která obsahuje informace o toku nebo QP způsobujícím zahlcení. Druhá se používá k indikaci, že přenos RDMA obsahuje zprávu o ztrátě paketů.
Podívejme se, jak tyto dvě zprávy porovnat pomocí rozšířeného seznamu na expertní úrovni:
expertní seznam přístupů rozšířený rdma
povolení udp libovolný libovolný libovolný libovolný rovnice 4791udf 1 l4_hlavička 8 0x8100 0xFF00(Odpovídá RG-S6520-64CQ)
povolení udp libovolný libovolný libovolný libovolný rovnice 4791udf 1 l5_header 0 0x8100 0xFF00(Odpovídá RG-S6510-48VS8CQ)
expertní seznam přístupů rozšířený rdma
povolení udp libovolný libovolný libovolný libovolný rovnice 4791udf 1 l4_hlavička 8 0x1100 0xFF00 udf 2 l4_hlavička 20 0x6000 0xFF00(Odpovídá RG-S6520-64CQ)
povolení udp libovolný libovolný libovolný libovolný rovnice 4791udf 1 l5_hlavička 0 0x1100 0xFF00 udf 2 l5_hlavička 12 0x6000 0xFF00(Odpovídá RG-S6510-48VS8CQ)
Jako poslední krok můžete vizualizovat relaci RDMA připojením seznamu expertních rozšíření do příslušného procesu ERSPAN.
Napište do posledního
ERSPAN je jedním z nepostradatelných nástrojů v dnešních stále větších sítích datových center, stále složitějším síťovým provozem a stále sofistikovanějšími požadavky na provoz a údržbu sítě.
S rostoucím stupněm automatizace provozu a údržby (O&M) se technologie jako Netconf, RESTconf a gRPC stávají populárními mezi studenty O&M v oblasti automatického provozu a údržby sítí. Použití gRPC jako základního protokolu pro odesílání zpětného zrcadlení provozu má také mnoho výhod. Například, na základě protokolu HTTP/2, může podporovat mechanismus streamování push v rámci stejného připojení. Díky kódování ProtoBuf se velikost informací ve srovnání s formátem JSON zmenší na polovinu, což zrychluje a zefektivňuje přenos dat. Jen si představte, že pokud použijete ERSPAN k zrcadlení příslušných streamů a poté je odešlete na analytický server na gRPC, výrazně se zlepší schopnost a efektivita automatického provozu a údržby sítě?
Čas zveřejnění: 10. května 2022
